О происхождении Веспрема историки много лет ведут споры; одни полагают, что его заложили при короле Иштване I в. начале XI века, другие уверены, что крупное поселение возникло стихийно после того как полдюжины окрестных деревень слились воедино. Нет ясности и с тем, откуда взялось название города. Вроде бы оно происходит от славянского слова «безпрем», то есть «непрямой» или «неровный» — Веспрем располагается на пяти холмах. Супруга Иштвана I, королева Гизелла сразу полюбила эти холмистые места неподалёку от Балатона и провела тут много счастливых дней.
Мощный толчок развитию города дало образование на территории Венгерского государства отдельного епископства, и как раз Веспрем резиденцией нового духовного иерарха. По традиции исключительно местные епископы возлагали короны на головы правителей Венгрии. Во время турецкого нашествия Веспрем был захвачен и подвергся разорению, однако не разделил участь многих других городов, долгое время остававшимся под игом завоевателей: за период между 1552 и 1683 годами власть над ним переходила из рук в руки девять или даже десять раз.
Сильный удар по процветанию местных жителей нанесли военные действия, связанные с подавлением австрийцами национально-освободительного восстания венгров, возглавленного князем Ракоци: несмотря на приказ императора Леопольда I прибывшая из Вены армия ограбила горожан и разрушила множество зданий, в том числе старинный замок на вершине одного из холмов. Новое время Веспрем встретил небольшим, мирным центром торговли. Туристы приезжают в город ради идиллической атмосферы его старинных улочек и красивых архитектурных ансамблей.
