Después de la derrota en esta guerra que concluyó en 1883, como después de la victoria en la guerra que concluyó en 1824, el Perú cayó en poder del militarismo. De regreso al Perú en 1884, Piérola organizó su partido al que dio el nombre de demócrata, integrando la primera directiva clericales o aristócratas tan conspicuos como Lino Alarco, Federico Panizo, Serapio Orbegoso, Manuel P. Olaechea, Manuel A. Rodrigo, Manuel Jesús Obín. El viejo conspirador acentuó entonces sus invocaciones a la Ley, al Sufragio y a la Constitución.  Como remedio a la crisis de entonces propició una Convención Nacional elegida por sufragio directo con libertad efectiva   (1o.  de  agosto   de 1884). A esta campaña legalista se unió su fé en la acción de los partidos "El partido demócrata y su Jefe no tienen impaciencia por llegar al poder. Creen, además, que los partidos políticos pueden servir al país en el poder y fuera de él" (Declaración de 4 de setiembre 1884). Repitió una vez más que era necesario cambiar el "régimen". Desterrado en 1885, volvió para las elecciones de 1886 propiciando entonces la abstención de su partido, ya que las elecciones no iban a ser nacionales sino controladas por un círculo oficial y no había más remedio entonces que la guerra civil pero el país estaba postrado.

Largos años vivió en la oposición, optimista siempre en el porvenir, entre persecuciones y prisiones, con una creciente popularidad. En vísperas de las elecciones de 1890 los civilistas que rodeaban la candidatura de Rosas acordaron con el presidente Cáceres la prisión de PiéroJa por responsabilidades de la guerra y la clausura de su periódico "El País". Fue elegido así Morales Bermúdez. Tuvo la increíble sugestión de un "film" la fuga que entonces hizo Piérola de la Intendencia de Policía.