Przy świątyni, od jej strony północnej znajduje się wzniesiony współcześnie z kościołem klasztor – obecnie dom zakonny jezuitów. Składa się z trzech skrzydeł. Skrzydło zachodnie jest prostopadłe do fasady kościoła i przylega do wieży i kaplicy św. Tekli. Skrzydło północne jest równoległe do kościoła, oddzielone kwadratowym wirydarzem. Skrzydło wschodnie przylega do zakrystii i do znajdującej się nad nią kaplicy św. Stanisława Kostki.
Gmach jest późnobarokowy, murowany, dwupiętrowy, na piwnicach sklepionych kolebkowo. Klasztor był pierwotnie jednopiętrowy, zbudowany przez Ojców Paulinów z fundacji bp. Aleksandra Antoniego Fredry. Nazwisko architekta jest nieznane. Jezuici objęli kościół i klasztor w kształcie w jakim pozostawili go paulini w roku 1782. Obiekt był zaniedbany i wymagał całkowitego remontu. Miało to miejsce w 1821 roku.
Wewnątrz kolegium posiada jeden trakt pomieszczeń wzdłuż krużganka biegnącego od strony wirydarza. Krużganek, cele oraz pomieszczenia parteru i pierwszego piętra są sklepione krzyżowo-kolebkowo. Drugie piętro nadbudowane w latach 1835-37 przez br. Felika Stadlera SJ ma płaskie sufity.
Wnętrza urządzono w taki sposób by mogli w nim mieszkać zakonnicy, funkcjonować nowicjat – otwarty w 1822 roku – a także działać nauczanie w zakresie szkoły średniej, i w nadzwyczajnych wypadkach studiów humanistycznych, filozoficznych i teologicznych dla jezuitów.
W 1886 r. drugie piętro spłonęło i w tym samym roku zostało odbudowane przez Władysława Ostrowskiego przy pomocy br. Józefa Białobrzeskiego SJ. Dwupiętrowe skrzydło nowicjatu w przedłużeniu skrzydła północnego dobudował również Władysław Ostrowski. Mieści się w nim – poza pokojami mieszkalnymi – refektarz, biblioteka, asceterium (sala wykładowa) oraz oratorium nowicjatu.
Od czasów swojego przybycia aż do lat 70. XX w. w kolegium starowiejskie zamieszkiwało nawet do 120-150 jezuitów, szczególnie trudne były czasy II wojny światowej i lata następujące po niej. Pamiątką po tych czasach są zdjęcia i liczne zbiory przechowywane w bibliotece domowej oraz w archiwach.
