W 1861 roku wrócił do Wilna, gdzie włączył się w akcje tajnych kursów nauczania historii i literatury polskiej. Andriolli uczył tam malarstwa. W marcu 1863 r. dowodził 70 osobowym oddziałem ochotników, powstańców. Po klęsce Powstania Styczniowego ukrywał się pod różnymi nazwiskami. W końcu została aresztowany, stało się to w Petersburgu. Dnia 1 lutego 1864 r. Andriolli uciekł razem z innymi powstańcami z carskiego więzienia  do Londynu, a stamtąd w czerwcu do Paryża. Tam mu się rzeczywiście powiodło, największy organ obrazkowy słynna L’Illustration zamieściła jedną z jego kompozycji. Inni wydawcy poszli jej śladem. Andriolli uczuł grunt pod nogami. W 1865 r. Księgarnia Luksemburska wydała Pamiątki starego szlachcica litewskiego Henryka Rzewuskiego z ilustracjami Andriollego i Bronisława Zalewskiego. Latem, rok później jako emisariusz Komitetu Emigracji Polski wyjechał z Paryża. Dotarł dla Konstantynopola, w którym grupa polskich emigrantów ciągle rosła. Tego samego roku wyruszył wraz z Tomaszem Gregutowiczem na Podole. Zdradzeni przez przemytnika, Andriolli i jego towarzysz podróży zostali uwięzieni w twierdzy chocimskiej. Przy próbie ucieczki Andriolli został schwytany, skatowany i wysłany do Wilna, gdzie czekał na niego wyrok za udział w Powstaniu Styczniowym. Został oskarżony o „zbrojny udział w powstaniu, pełnienie obowiązków komisarza władz rewolucyjnych na gubernię kowieńską, wreszcie przedzieranie się nielegalnie do kraju w roli emisariusza”. Postanowiono „przestępcę politycznego Elwira Andriolli pozbawić wszelkich praw i wysłać na roboty katorżne na przeciąg 15 lat”. Wyrok sądu wojennego z piętnastu lat katorgi i pozbawienia praw, został zmieniony na zesłanie w głąb Rosji. We wrześniu 1868 r. Andriolli dotarł do Wiatki. Henryk Dobrzycki wspomniał, że podczas pobytu w Wiatce artysta „odnowił prawie wszystkie cerkwie /…/, we dwa lata, które przebył w tym mieście, namalował bardzo dużo i pozostawił po sobie niezatarte wspomnienie jako człowiek olbrzymiej pracy”. Po ogłoszeniu ułaskawiającego manifestu carskiego oraz po zdjęciu nadzoru policyjnego i usunięciu wszelkich ograniczeń 25 sierpnia lub 6 września 1871 r. Andriolli wyjechał z Wiatki do Warszawy.