I 1358 var en stormand ved navn Niels Bugge på vej mod Viborg fra et besøg ved Kong Valdemar Atterdags hof på Sjælland, men blev under sit ophold i Middelfart myrdet. Det blev alle byens borgere efterfølgende straffet for af Valdemar, idet de kollektivt blev idømt at betale en stor bod til kongen hvert eneste år til evig tid. For Middelfart kom denne straf til at vare århundreder og sluttede først i 1874 ! Et hårdt slag for den lille by meget tidligt i byhistorien. Byens ældste købstadsrettigheder er fra 1496, tildelt af Kong Hans. Middelfart var på dette tidspunkt allerede en central by i Danmark pga. sit overfartsted, og den blev derfor udsat for adskillige angreb udefra grundet sin vigtige placering. Byen måtte lide den tort at blive brændt ned under Grevens Fejde, og i krigene mod Sverige i 1600-tallet gik det hårdt ud over købstaden. I krigene mod tyskerne i 1848 og 1864 var Middelfart en bastion i forsvaret af Fyn og blev udsat for et bombardement fra Jyllandssiden af tyske kanoner.
