Удобство Замкового острова оценили и шведы. В 1293 году они взяли с боем и разрушили острожек, а на его месте основали каменную крепость, а по большому счету — целый замок, и назвали его Выборг.
Всего через год новгородцы, потеряв такой важный торговый центр, осадили крепость, но взять не смогли. Лет через двадцать попытку повторили, и снова неудачно. В результате в 1323 году по Ореховецкому мирному договору часть Карельского перешейка вместе с Выборгом отошла к Швеции.
В 1403 году шведский король Эрик Померанский даровал Выборгу «равные городские привилегии», и город быстро восстановил свой статус крупного торгового центра. Впрочем, военное значение крепость не теряла, а, скорее, даже наращивала. С 1442 по 1448 год во времена правления Выборгом Карла Кнутссона Бунде к замку были пристроены новые башни и покои, обновлены рыцарские залы и парадные комнаты. В 1470-е годы при наместнике Эрике Аксельссоне Тотте уже весь город, разросшийся на полуострове, обнесли крепостной стеной с девятью башнями и двумя бастионами, земляным валом и рвом, наполненным водой.
В 1525 году Выборг стал вассальным владением графа фон Гойа, зятя короля Густава Вазы. Влиятельные родственники поспособствовали развитию города: сюда буквально хлынули состоятельные переселенцы. В быт вошли немецкие обычаи, открывались храмы, учреждения образования. Во второй половине XVI века к старому городу пристроили новую часть — Рогатую крепость, сохранившуюся частично и до нашего времени.
XVI–XVIII века ознаменовались русско-шведскими войнами. В 1556 году Выборг осадили русские войска. Город они не взяли, но выгодного мирного договора добились. В 1609 году в городе было заключено сразу несколько соглашений, совместно именуемых Выборгским договором, между посланниками царя Василия Шуйского и шведским правительством о военной помощи в борьбе с Лжедмитрием II. Кстати, нарушение условий этих соглашений русской стороной привело к Русско-шведской войне 1610–1617 годов.
Со временем Выборг потерял свое военное значение и стал устаревшей тыловой крепостью, таким он и оставался до Северной войны, которую вел Петр I, но после падения Нотебурга (Орешка) и Ниеншанца вдруг неожиданно стал передовой базой, откуда шведы вполне могли бы угрожать только что основанному Санкт-Петербургу. Закономерно, что Петр I предпринял первую попытку захватить шведскую крепость. В 1706 году она была неудачной. Только в 1710 году город был взят русскими войсками и флотом, а по Ништадтскому мирному договору 1721 года официально стал частью Российской империи.
И снова смена власти привела к демографическому всплеску, в этот раз за счет притока русских военных и торговых людей.
До XX века история Выборга не отмечена крупными событиями: русский гарнизон стоит, торговля и промышленность развиваются. В 1856 году открылся Сайменский канал, в 1870-м — железная дорога Санкт-Петербург — Гельсингфорс. В городе начинается газификация (1860 год), электрификация и телефонизация (1882 год), проводится водопровод (1893 год), а в 1912 году было открыто трамвайное движение.
Естественно, что столь стремительный экономический взлет XIX века значительно увеличил население Выборга, город стал вторым по населению и экономическому развитию в Великом княжестве Финляндском.
Перелом в судьбе города случился в 1918 году — в январе после провозглашения независимости в Финляндии началась гражданская война, а Выборг стал одним из главных центров красных финнов. Но уже 29 апреля, после разгрома красных отрядов, Выборг пал. Период нестабильности сменился спокойствием — 17 июля 1919 года Финляндия стала республикой, а город — одним из важнейших торговых и транспортных центров страны. В это время были построены многие важные общественные здания в стиле функционализма: художественный музей и школа (1930 год), окружной архив (1933 год), новая городская библиотека (1935 год), здание торгового и морского училища (1938 год). На певческом поле проводились певческие фестивали. В 1938 году в городе действовало 38 промышленных предприятий различных отраслей.
В 1939 году мирный период закончился. Уже в феврале 1940 года, прорвав линию Маннергейма, Красная армия подошла к Выборгу. По условиям Московского мирного договора Выборг, впрочем, как и большая часть Выборгской губернии Финляндии и весь Карельский перешеек, отошел к СССР. 13 марта с башни святого Олафа с соблюдением всех воинских церемоний был спущен финский флаг.
Финское население города было полностью эвакуировано в Финляндию, и Выборг начал заселяться советскими переселенцами. Восстанавливалась промышленность, вновь открывались учреждения культуры и образования. И опять ненадолго — летом 1941 года в Выборг снова пришла война. В 1944 году финская армия отступила с Карельского перешейка, финские граждане вновь эвакуировались. 20 июня 1944 года в Выборг вошли советские войска. Ущерб был нанесен огромный, разрушены и сожжены промышленные предприятия, железнодорожный узел, жилые дома, культурно-просветительные и лечебные учреждения. Постановлением правительства Выборг в числе 15 городов подлежал восстановлению в первую очередь. И восстановился!