Монастырь основан в 1662 году канцлером Великого княжества Литовского Христофором Сигизмундом Пацем для отшельников-камальдолийцев. Интенсивное строительство велось до 1674 года, затем возобновилось в 1712 году, когда состоялось освящение Пажайслисский костёла Вознесения Пресвятой девы Марии. По некоторым данным, архитектором монастыря был Людовико Фредо, монах из монастыря Сан-Микеле ди Мурано. Костёл и поздние постройки спроектировали Карло и Пьетро Путтини и Джованни Баттиста Фредиани. В 1755 году были возведены дополнительные башни.

В 1812 году, во время Отечественная война, монастырь был разграблен. После подавления Польского восстания 1830-1831 годов монастырь был передан Русской православной церкви и преобразован в Пожайский Успенский мужской монастырь.

После обретения Литвой независимости монастырь в 1920-х годах был передан сёстрам Ордена Святого Казимира. После Второй мировой войны советская администрация закрыла монастырь, превратив его в архив, психиатрическую больницу, а затем галерею. Восстановление независимости Литвы в 1990 году вернуло комплекс Ордену Святого Казимира, одновременно была проведена реставрация монастыря. За главным зданием восстановлены три из двадцати домиков монахов молчальников.

На территории монастыря немало исторических и культурных памятников, в том числе могила Алексея Львова, создателя музыки гимна «Боже, Царя храни!».

Ежегодно в монастыре проводится международный фестиваль музыки. Начало Пажайслисскому музыкальному фестивалю было положено в 1996 году. В течение трёх летних месяцев проходит около 30 концертов музыкальной классики, начиная от Моцарта и заканчивая «Аббой». Дважды фестиваль посещал американский скрипач и дирижёр Иегуди Менухин. Часть концертов бесплатна для публики. Концерты в рамках фестиваля проходили также в Каунасском замке, Клайпедском университете и даже в аэропорту.