Город под управлением Людвига IV стал одним из центров Священной Римской империи. И хотя горожане редко созерцали своего короля в Мюнхене (из 46 лет правления он находился в городе лишь около четырех), но статус города, его архитектурный облик будут долгие годы и даже столетия определяться тем, что было построено на рубеже XIII–XIV вв. Хотя, как выглядел тогда Мюнхен, сказать трудно. С расширением городской стены появилось много свободных площадей для строительства. Имперский город становился по-настоящему привлекательным для вливаемого сюда капитала. Строились городские башни, с которых велся неусыпный дозор (поможет ли это городу, когда к нему подойдут войска шведского короля Густава Адольфа? Или Наполеона?). Во времена Людвига таких башен насчитывалось около сорока. В следующем столетии добавилось еще столько же. Мюнхен был укреплён. Но важнее башен были ворота: Schwabinger Tor (Швабингер Тор) — нынешний Odeonsplatz (Одеонсплац), Sendlinger Tor (Зендлингер Тор) — к ним мы подойдем позднее, Isar Tor (Изар Тор) и Neuhauser Tor (Нойхаузер Тор), сегодня известные как Karlstor (Карлстор).
Однако беда пришла в Мюнхен с другой стороны. В самом начале 1327 г. пожар уничтожил треть города: загорелась пекарня монастыря Anger (Ангер). Со времени этого пожара Людвиг IV узаконил порядок строительства в городе. Он предписал каменщикам, что они могут получить новый заказ лишь после того, как выполнят предыдущий. Кроме того, строить теперь можно было только из камня.