Священник Парфений Красивский служил в Казанском храме с 1902 года и в 1919 году принял мученическую смерть на его пороге.
25 декабря 2021 года у северной стены Казанского собора в память его мученического подвига был установлен мраморный памятный крест. Мемориальный знак представляет собой крест на трапециевидном постаменте. На передней стороне – барельефное изображение распятия Господа Иисуса Христа с предстоящими, внизу надпись: «На этом месте в 1919 году принял мученическую кончину священник Парфений Красивский. Святые новомученики и исповедники, в земле Казахстанской просиявшие, молите Бога о нас! В 2000-м году на Архиерейском Соборе Русской Православной Церкви иерей Парфений Красивский был причислен к лику святых».
31 августа 2022 года в Казанский собор была передана икона священномученика Парфения (Красивского), созданная при поддержке общественного фонда «United Charity Projects Evolution» (UCPE) алма-атинским иконописцем Галиной Киселевой. Это первая икона святого, ранее священномученик Парфений изображался лишь в сонме новомучеников и исповедников Казахстанских.