Считается, что этот маленький храм возведён в честь самой красивой женщины Литвы и Польши Натальи Кицкой (урождённой Биспинг, 1801-1888 гг.), которой посвящал свои творения молодой Фредерик Шопен.

Памятник восточно-экзотического направления архитектуры модерна, которое решено прямоугольным в плане объёмом с полукруглой апсидой, над которой 2-х скатная крыша. Фасад решен прямоугольными гранёными пилонами со спичестыми шпилями в завершении. В конфигурации входного и оконных проемов использована готическая арка-цюдор. Каплица действует и по сегодняшний день.