Почти вся история Шюмега связана со знаменитой крепостью, основанной в XI веке в эпоху короля Иштвана Святого на высоком холме (270 м). В период турецкого нашествия XVI - XVII веков крепость осаждалась бессчётное число раз на протяжении почти 150 лет, но так и не была покорена турками. После падения Веспрема в 1552 году резиденция веспремского епископа была перенесена в Шюмег. В это время в Венгрии была в ходу поговорка «Пока стоит Шюмег рано молиться на Мекку».