Костехранилище располагается у костела Св. Якуба, который существует на Якубской площади с XIII века. В то же время у костела возникло городское кладбище. В те времена мест для захоронений не хватало, поэтому была введена сменная система захоронений — через 10–12 лет кости вынимались, а в этом месте хоронили другого усопшего. Содержимое старых могил переносили в оссуарии или костницы.
С этой целью под каменным полом костела была создана трехкамерная крипта (вероятно в XVII веке). Сначала места было достаточно, но с приходом эпидемий чумы и холеры в криптах стало очень тесно. Постоянный недостаток места заставил городские власти в 1741 году приступить к расширению костницы. Был выбран участок под кладбишем, который соединили с криптой. Однако новая костница наполнилась уже через 6 лет. Далее городские власти решили соединить крипту с Часовней мертвых, которая располагалась недалеко от костела. Начали рыть соединительный канал, но где-то на середине пути работы прекратили и больше к этому вопросу не возвращались.
После наполнения крипты и костнице под кладбищем входная лестница из главного нефа костела была закрыта каменной плитой. Реформы императора Иосифа в 1784 году привели к ликвидации городского кладбища по гигиеническим причинам. Останки из могил были перемещены в крипту, стены кладбища разрушены, пространство вокруг костела замостили уже ненужными надгробными камнями. Со временем о кладбище и костнице забыли.
Это пространство было вновь обнаружено в 2001 году в связи с предстоящей реконструкцией Якубской площади. Проводя систематическое изучение подземелий было опущено несколько зондов на глубину 4 метров, в результате чего подтвердилось существование погребальных пространств. Некоторые помещения до самого верха были заполнены костями. Количество похороненных предположительно превышает 50 тыс. чел. Поэтому это костехранилище второе по величине в Европе (после Парижских катакомб).