Inizialmente la colonia penale e l'azienda agricola erano due realtà distinte e separate. Pianosa era amministrata dalla Direzione dei Regi Possessi della Toscana, rappresentata sul posto da un agente che giornalmente richiedeva alla Direzione dello Stabilimento penale i detenuti-lavoratori occorrenti per le coltivazioni. Questa situazione fu modificata nel 1862, ponendo tutte le amministrazioni presenti sull'isola alla esclusiva dipendenza del Ministero dell'Interno.
Nel 1863 un apposito decreto del Ministero dell'Interno approvò regolamento e norme per la Colonia Penale di Pianosa. L'anno seguente fu terminato un edificio capace di ospitare 350 carcerati, ma nel 1872 si preferì dividere l'isola in diversi centri di produzione agricola detti poderi dislocando così i reclusi in piccole comunità. Fu in questi anni, soprattutto sotto la direzione del Cav. Ponticelli che Pianosa venne quasi completamente edificata, fino ad assumere, a grandi linee, l'aspetto attuale. Morirà in quel periodo a Pianosa l'anarchico Passanante, attentatore di re Umberto I.
Nel 1869 un Decreto Regio istituì la colonia penale di Gorgona, come succursale di Pianosa, rendendola poi autonoma con 250 reclusi quattro anni dopo. Anche a Montecristo furono trasferiti dall'Amministrazione Penitenziaria di Pianosa 12 detenuti e quattro guardie, richiamandoli però quasi subito data la assoluta antieconomicità dell'esperimento. Attorno al 1880 il carcere sull'isola ospitava ben 960 reclusi.
A partire dal 1884, nella Casa Penale di Pianosa vennero trasferiti dalle carceri di tutta Italia i detenuti ammalati di t.b.c., che si unirono così ad altri già presenti sull'isola, rimanendovi fino al 1965. Il trattamento dei detenuti tubercolosi avveniva in tre strutture: Preventorio (attuale Centrale) dove venivano accolti i supposti malati per le prime visite; il Sanatorio (ex Podere del Cardon, attuale Agrippa) un ospedale ben attrezzato per la cura delle malattie polmonari; il Convalescenziario (Podere del Marchese) dove i detenuti guariti trascorrevano un periodo di convalescenza.
Dal 1860 al 1946 i deceduti per tale malattia ammontavano a circa 2350, e numerosissimi furono i reclusi trattati nelle strutture ospedaliere di Pianosa, è da tener comunque presente che, godendo i malati di vitto, alloggio e disciplina migliori di quelli degli altri carcerati, probabilmente molti comuni detenuti riuscirono a farsi passare per ammalati.
Il botanico Somier, recatosi più volte sull'isola nel periodo a cavallo tra i due secoli, compilò un breve censimento della popolazione residente sull'isola nel 1909: " Tutta la popolazione libera di Pianosa consiste in un direttore, un vicedirettore, un contabile, un segretario, due computisti, un'agronomo con due assistenti, due medici, un prete, una maestra elementare, un rappresentante della Navigazione Generale, che cumula le mansioni di ufficiale postale, ufficiale dello stato civile ecc., due fanalisti, una guardia di finanza, uno spazzino comunale, il guardiano del laboratorio batteriologico e due barcaioli proprietari delle due botteghe.
Le guardie carcerarie sono un'ottantina. Vi è poi un presidio di 40 soldati comandato da un tenente; questo presidio che è distaccato da un reggimento di stanza a Livorno cambia ogni due mesi". Sempre il Somier ci informa che i "condannati" erano circa 800.
Può destare curiosità la presenza di un laboratorio batteriologico, ma poco dopo il botanico ci informa che: "L'edifizio del Marchese essendo il più lontano dal porto, e il più isolato, le stanze abitabili che vi si trovano sono state assegnate al laboratorio batteriologico di Roma per tenervi gli animali ai quali si inoculano malattie infettive. In prossimità è stato costruito un piccolo forno crematorio dove questi animali vengono poi inceneriti".
Fu "ospite" della diramazione del Sembolello nel 1932 anche il futuro presidente della Repubblica Sandro Pertini, incarcerato per motivi politici. In quegli anni a Pianosa abitavano circa 60 famiglie, forse è il momento di maggior presenza di civili a Pianosa.
Nel 1938 venne installato sull'isola il primo motore diesel per la produzione di energia elettrica a 160 volt. L'energia elettrica è stata sempre fornita da motori diesel finio ai primi anni '90, quando l'isola venne collegata all'Elba mediante un cavo sottomarino.
Con la disponibilità di energia elettrica, i pianosini poterono vivere i primi anni del secondo conflitto mondiale ascoltando per radio le notizie dai vari fronti, ma tra il 16 e il 17 settembre 1943 l'Isola d'Elba e Pianosa venivano investite da paracadutisti tedeschi, cui poco dopo seguivano sbarchi di uomini e materiali. Iniziava l'occupazione che sarebbe durata nove mesi. Pianosa venne dotata dai tedeschi di un presidio di circa 30 uomini.
Il 19 marzo 1944 una piccola pattuglia di truppe franco-coloniali, provenienti dalla Corsica, sbarcava sull'isola. Seguì un breve scontro, nel quale persero la vita un sottufficiale tedesco e, per errore, un agente di custodia. I francesi si allontanarono portando via una quarantina di ostaggi, tutti Agenti di Custodia. A quei tempi gli Agenti indossavano una divisa nera, e vennero forse scambiati per fascisti.
Un mese dopo, il 17 aprile 1944 un bombardiere alleato sganciò alcune bombe presso la direzione del carcere, il bilancio fu di sei morti, tutti italiani, tra cui il medico del carcere, il comandante degli agenti di custodia, un impiegato e tre reclusi. Il 16 giugno iniziava l'operazione "Brassard", cioè l'invasione dell'Elba da parte delle forze golliste francesi.
A Pianosa furono destinati reparti di commandos e truppe d'assalto coloniali, comandati dal Tenente Colonnello Garnier Dupré. I tedeschi, dopo aver distrutto il semaforo della Marina, evitarono però il combattimento sull'isola, raggiungendo con uno stratagemma le loro forze sull'Elba: il grosso convoglio dello sbarco alleato diretto all'Elba transitava a Sud di Pianosa per poi puntare sulla spiaggia di Campo; viaggiando di notte ed in acque nemiche l'illuminazione sulle navi era ridotta al minimo indispensabile, di questa situazione approfittò il comandante del presidio tedesco di Pianosa, il Tenente Gerd Rau, per lasciare l'isola con i suoi uomini. I tedeschi requisirono un piccola motobarca, lunga una decina di metri, il "Maurizio", adibita normalmente al trasporto merci tra Pianosa e L'Elba, e avvisarono le navi alleate della loro presenza con segnali luminosi, in modo da far credere di essere parte del convoglio da sbarco. Giunti al sicuro sotto la costa elbana, i tedeschi si allontanarono dalle navi dirigendosi al Cavo, dove erano dislocati alcuni loro reparti.
Una partenza frettolosa e una fuga avrebbero certamente insospettito gli alleati, il trucco messo in atto dal comandante tedesco era rischioso ma era anche l'unico modo per raggiungere indenni l'Elba.
Dopo aver sbarcato le truppe ed aver accertato la ritirata dei tedeschi, anche gli alleati abbandonarono Pianosa per dirigersi sull'Elba, dove infuriavano i combattimenti.
