Первыми заключенными лагеря были активисты советской власти и военнопленные из барановичской и столбцовской тюрем. Жертвами Колдычевского концлагеря стали практически все евреи и цыгане региона, а также большое количество поляков, военнопленных, около 100 католических священников. 

Концлагерь открыли в 1942 году. Его территория ограждалась несколькими рядами колючей проволоки, дзотами, вкопанными в землю танками, прожекторами. Для узников соорудили и кое–как приспособили многочисленные холодные помещения. Специально выстроили двухэтажное кирпичное здание тюрьмы. Узники работали по 10 — 12 часов в сутки в неимоверно тяжелых условиях на добыче торфа в ледяной воде, а также в цехах — по изготовлению кирпича, мыловаренном, столярном, кожевенном, бондарном, сапожном, портняжном. Спали на нарах в 3 — 4 этажа на тонком слое соломы. Жилые постройки в зимнее время не отапливались.

Согласно акту Чрезвычайной комиссии было практически истреблено все еврейское население г.п. Городище, Столовичей, частично Барановичей и других районов, привозили на уничтожение евреев и из Европы. Только из Городища было убито свыше 2 тысяч евреев. 
Мемориал открыт 3 июля 2007 года. Идея установить на месте гибели евреев памятный знак родилась у жителя Барановичей Михаила Гольберга, который чудом спасся от рук фашистов. Активисты обратились с просьбой увековечить память жертв фашизма к Президенту Республики Беларусь Александру Григорьевичу Лукашенко.

Работы по сооружению памятного знака на месте гибели верующих трех конфессий начались в 2006 году после Указа Президента Республики Беларусь № 364 от 21 декабря 2005 года, согласно которому бывший лагерь Колдычево получил статус мемориала. Барановичский райисполком разрешил выполнить проектные работы памятного знака, посвященного 22 тысячам жертв фашистского террора, а также по консервации главного символа мученичества узников — здания тюрьмы в Колдычево. Все изыскательские, проектные и сметные работы выполнены специалистами на общественных началах и безвозмездно в память о жертвах фашизма.