Bereits in vorgeschichtlicher Zeit wurde das Gebiet am Fuß des Riesengebirges besiedelt, der Ort entstand in Anlehnung an eine Burgstätte der Premysliden, seit dem 13. Jh. zogen auch deutsche Siedler zu. Jaromer gehörte zum Leibgedinge der böhmischen Königinnen. Später stand die Stadt auf Seite der Hussiten und wurde dann durch Georg Podiebrad und weitere böhmische Könige gefördert, bis sie nach der Beteiligung am Aufstand gegen die Habsburger verarmte. Zwei große Stadtbrände 1446 und 1523 vernichteten die Bausubstanz, der Wiederaufbau erfolgte im Barock. Alt-Bydžow ist ab 1186 nachweisbar, wegen der ungünstigen Lage wurde der Ort Anfang des 14. Jh. an den heutigen Platz verlegt. Grundherren dieser Neugründung Neu-Bydžow (etwa 40 km südwestlich von Jaromer gelegen) waren ab 1325 die Wartenberg, später die Pernstein; erst ab der 2. Hälfte des 16. Jh. befand sich der Ort wieder als Leibgedingestadt in der Hand des böhmischen Königs; im gesamten 16. Jh. kam es zu heftigen religiösen und politischen Streitigkeiten in der Stadt.