XV век был "веком меха и камня". Резкое похолодание климата в Европе и приход чумы повысили ценность тех, кто поставлял меха, т.е. Руси и Скандинавии. Выборг превратился в разросшийся город с торговцами пушниной. Здесь возникли францисканский и доминиканский монастыри, остатки стен которых существуют до сих пор. В 1403 г. король Эрик XIII Померанский (он же Богуслав Гриффин) даровал Выборгу городское самоуправление.
Эрик Померанский стал королём Кальмарской унии Швеции, Дании и Норвегии. Но он нарушил данную им клятву не включать иностранцев в госсовет (риксрод). Он окружил себя немецкими фаворитами и проводил политику в интересах Дании в ущерб Швеции. Датчане постоянно воевали с Ганзой (которую возглавлял Любек), а шведы предпочитали с ней торговать. Женой Эрика была Филиппа Ланкастер - сестра Генриха V. Она дважды лично руководила обороной Копенгагена от ганзейских немцев.
8 мая 1429 г. Ланкастеры потерпели два страшных поражения в один день. Жанна д'Арк разбила англичан в Орлеане, а мэр Любека Николай фон дер Липпе разгромил флот Кальмарской унии в Штральзундском проливе. Эрик не хотел выкупать пленных и потерял авторитет среди шведов. В 1430 г. он отравил свою жену Филиппу и женился на её фрейлине, что вызвало негодование в народе ещё больше. В 1434 г. владелец Даларнских шахт Энгельбрект Энгельбректович поднял восстание шведов против Эрика, к которому примкнул и маршал Швеции Бунде. Швеция отпала от Кальмарской унии, королём стал Кристофер Баварский (1440), а Бунде стал наместником Выборга (1442-1448) и завёл там свой двор, почти равный королевскому.
С 1448 по 1470 гг. Карл Бунде трижды захватывал шведский трон. Два раза его свергали, но в итоге он умер будучи королём. Первый раз его сверг в 1457 г. Эрик Тотт, который сжёг Выборгский замок и отдал трон датчанину Кристиану I Ольденбургскому. Кристиан в ответ подарил сожженный замок Тотту, чтобы тот его восстановил. Тотт правил в Выборге с 1457 по 1481 г. и возвёл каменные стены города, которые просуществуют 300 лет до времён Екатерины II (до наших дней дошло две башни и небольшой кусочек стены). Выборг стал третьим каменным городом в Шведском королевстве. Также при Тотте были построены новый храм доминиканцев и колокольня (ныне нижние этажи Часовой башни). Также Тотт построил замок Нойшлотт (ныне Савонлинна).
После Тотта наместниками Выборга были Стен Стуре, Кнут Поссе, Эрик Бьелке. Именно при Кнуте Поссе Выборг в 1495 г. пыталось штурмовать московское войско лучших полководцев Ивана III: Даниил Щеня-Патрикеев, Яков Кошкин-Захарьин (предок Романовых), В.Ф. Шуйский. Но Поссе занимался чернокнижием и в колдовском котле сварил зелье, которое издало страшный грохот - "Выборгский гром", слышный за много вёрст. Русские испугались и сняли осаду.