Впервые Йошкар-Ола упоминается 1 ноября 1584 года в разрядной книге — главном документе «Разрядного приказа» 1475 — 1598 годов. Однако, археологические раскопки свидетельствуют, что люди в окрестностях этих мест жили уже с эпохи мезолита (12 тыс. лет до н. э.).

Территория вокруг современного города всегда была окружена богатыми лесами, что позволяло местному населению заниматься охотой и собирательством, а лесиспользовать в качестве строительного материала. Места лесных вырубок распахивались и использовались под нужды земледелия и скотоводства. Были развитыбортничество и рыболовство. На поселениях находят много изделий из кости, связанных главным образом с охотой (различных форм наконечники стрел, гарпуны, наконечники мотыг), обломки глиняной посуды, украшения.

Между XIII и XV веком территория современной Йошкар-Олы была заселена коренными марийцами и входила в состав Золотой Орды, а затем, до середины XVI века, являлась северной периферией Галицкой даруги Казанского ханства, через которую осуществлялись торгово-экономические и военно-политические связи между Казанью и северо-восточными русскими землями. В частности, известно, что эту местность пересекала Галицкая дорога, проходившая на северо-запад от Казани в сторону города Галича — важного средневекового города северо-восточной Руси. В составе Казанского ханства у марийцев не было городов, они жили небольшими поселениями — «илемами».

Длительное военное соперничество между русскими княжествами и Золотой Ордой, а в последующем — между Московской Русью и Казанским ханством завершилось в октябре 1552 года разгромом Казанского ханства Иваном Грозным и присоединением Среднего Поволжья, в том числе и марийского края, к Российскому государству. С этим непосредственно связано основание города Царевококшайска. Часть местного населения уже в середине октября 1552 года была приведена к присяге на верность московскому царю и обязалась платить ему ясак. Но уже в декабре марийцы во многих местах восстали, отказались подчиняться новым порядкам московского правительства, а с весны 1553 года на всей развернулось широкое национально-освободительное движение, получившее название «черемисских войн».

Для подавления восстания на земли луговых марийцев направлялись московские войска под управлением воевод «на вылазке». И характерно, что важным пунктом их дислокации была «волость Ошла» (речка Ошла впадает в Кокшагу рядом с городом), а наряду с ней в летописных сообщениях впервые упоминаются Кокшага, Манага и другие окрестности. В одном ряду с ними называется также Мамич-Бердеева волость по имени предводителя мятежного движения. Возможно, и она находилась на Малой Кокшаге, близ устья Ошлы, включая место будущего города. Здесь Мамич-Бердей даже попытался провозгласить независимое «царство» с приглашением править ногайского царевича, но при попытке склонить «горных черемис» на совместную войну с Москвой был пленен и отправлен в Москву на расправу.

Памятник Оболенскому-Ноготкову 

Черемисские войны прошли тремя волнами: 1552—1557 гг., 1572—1574 гг., 1582—1584 годы. Во время второй из них Иван Грозный решил не ограничиваться временными военно-ресурсными базами, опорными военными пунктами на вновь присоединенной территории и указал там «городы и остроги ставити». Так, в 1574 году был построен между устьями Большой и Малой Кокшаги город Кокшажск (Кокшайск), и контроль над значительной частью Луговой стороны был установлен — восстание прекратилось. Но через несколько лет вновь стало неспокойно в центре марийской земли. Сюда многократно посылались войска, но подавить сопротивление долго не удавалось. Тогда решили построить города-крепости и в глубинных районах на расстоянии дневного перехода пеших войск (это составляло тогда 50-60 верст), чтобы окончательно усмирить мятежников. Это было осуществлено уже после смерти Ивана Грозного, в царствование Федора Иоанновича. «Сам государь праведный, — сказано в летописи, — рассмотрев, да видя их, и чая от них впредь измены, и посла воевод своих и повелел ставити во всей Черемисской земле городы», и тем укрепил здесь московское правление.

Летом 1584 года войска русских воевод поднялись по Малой Кокшаге из Кокшайска, разгромили основные силы мятежников и на Малой Кокшаге, в ее среднем течении на правом берегу в наиболее удобной местности, уже освоенной ими со времен первой черемисской войны, заложили крепость и сообщили об этом в Москву. 

По бытовавшему тогда византийскому календарю «от сотворения мира» 7092 год охватывал время с 1 сентября 1583 года по 31 августа 1584 года. Следовательно, 1 ноября — дата первого упоминания города, построенного уже до 31 августа. Поскольку Царевых городов оказалось несколько, то для уточнения стали писать Царев город на Кокшаге или Царев Кокшайский, а через эту форму в первой половине XVII века закрепилось название Царевококшайск. К городу был приписан уезд, который еще в течение длительного времени назывался «Царегородский» (отсюда и распространенная в этих краях фамилия Царегородцев).

Основание Царевококшайска было частью политики правительственной колонизации вновь приобретенных земель. С территории застройки города и в окружности не менее пяти верст коренные жители выселялись подальше или сами уходили, не дожидаясь насильственного изгнания.

«Царёв город на Кокшаге» (отсюда позднее образовалось надолго закрепившееся официальное название города — Царёвококшайск) был основан в 1584 году при цареФёдоре Иоанновиче уже после смерти Ивана Грозного. Первоначально Царёвококшайск представлял собой типичное военное укрепление, окружённое с четырёх сторон земляными валами с деревянными стенами. Со временем город перестал выполнять свою военную функцию, превращаясь в ремесленный и торговый центр. Здесь начали селиться ремесленники, торговцы, крестьяне, границы города тоже вышли за прежние пределы, образовав посад и слободу. Основным занятием населения стало земледелие. В окрестностях города выращивался хмель. Процветали пушной, лесной и винокуренный промыслы. Но основную часть населения по-прежнему составляли военные.

Царёвококшайск в течение длительного времени оставался военно-административным центром в глубине марийского края. В городе размещались уездная администрация и военный гарнизон, состоящий из русских стрельцов и служилых людей, которым не раз приходилось подавлять стихийные волнения местного населения. Например, бунтующие крестьяне Поволжья и Вятской стороны (русские, татары, чуваши, марийцы) зимой 1609 года с боем захватили Царёвококшайск. Для усмирения повстанцев из Казани прибыл царский карательный отряд, который жестоко расправился с восставшими.

Царёвококшайцы участвовали в ополчении Кузьмы Минина и Дмитрия Пожарского. Их посылали для усиления русского влияния на Дон и в калмыцкие степи. Сохранились предания, что царёвококшайцы участвовали и в военных походах Петра I.

С созданием Царёва города на Кокшаге здесь появилось и русское население. Рядом с крепостью был расположен посад, где жили торговцы и ремесленники, в основном прибывшие из центральных районов Русского государства. В середине XVII в. деревни, находившиеся в окрестностях Царёвококшайска, ныне вошедшие в черту города (Вараксино, Лапшино, Гомзово, Берёзово, Кожино, Марково, Пахомово, Ширяйково, Жуково, Княжна), принадлежали царскому окольничему князю В. Г. Ромодановскому. Во второй половине XVII в. после его смерти, они перешли в ведение дворцового управления, то есть государственной казны. Из нерусского населения в городе и его окрестностях проживали новокрещённые служивые люди — тарханы, о которых напоминает до сих пор название городского микрорайона«Тарханово».

Возникнув как укреплённый город, Царёвококшайск ещё более 300 лет назад стал центром уезда. Городом и уездом в XVII в. управлял воевода, назначаемый Разрядным приказом и подчинявшийся приказу Казанского двора. Он руководил вооружёнными силами, исполнял юридические функции, собирал ясак с марийского населения.

При Петре I Царёвококшайск был приписан к Казанской губернии, в которую входило всё Поволжье от Нижнего Новгорода до Астрахани. В 1775 году издаётся указ, согласно которому в Казанскую губернию входило только Среднее Поволжье. Царёвококшайск стал уездным центром вновь преобразованной Казанской губернии.

В XVIII в. город несколько видоизменился: появились каменные дома, было построено 5 церквей: Троицкая (1736 год), Входо-Иерусалимская (1754 год), Вознесенская (1756 год), Воскресенский собор (1759 год), Тихвинская (1774 год). В «Экономических примечаниях Царёвококшайского уезда», составленных в конце XVIII в., указывалось, что в Воскресенском соборе помещалась кладовая для хранения собираемой государственной денежной казны; в казённом помещении возле Троицкой церкви размещались городская полиция и тюрьма. В XVIII веке в городе появились первые промышленные предприятия, наблюдался бум каменного строительства (до этого город был полностью деревянным). В городе стала проводиться Александро-Елизаветинская ярмарка. Тогда же в городе складываются купеческие династии.

В 1835 году был создан первый регулярный план Царёвококшайска. На нём 1 марта 1835 года император Николай Iсобственноручно начертал: «Быть по сему». По этому плану город и развивался в дальнейшем, постепенно превращаясь в торгово-экономический и культурный центр Марийского края, хотя его население составляло всего около 2000 чел.

С середины XIX века Царёвококшайск становится местом политической ссылки. Сюда были сосланы участники Польского восстания 1863 года.

По уровню среднего образования Царёвококшайск в этот период занимал первое место в губернии, опережая саму Казань: здесь на две тысячи населения было пять школ. Но в то же время в городе не было развитой промышленности. В 1837 году местный краевед, — уездный исправник, барон Александр фон Келлер, в очерковых заметках писал: « … фабрик и заводов нет … разных ремесленников находится: столяр — 1, сапожников — 2, портных — 2, медник — 1, оловянник — 1, красильщиков — 2».

Спустя почти полвека, в 1876 году, другой краевед, учитель И. О. Дерюжев, констатировал: «За исключением булочника, мясника, сапожника и немногих других ремесленников, занимающихся такими работами, без которых никакое скопление людей не могло бы существовать при самой небольшой степени образованности населения, ни одна отрасль промышленности не известна городскому населению». Только в конце XIX века в Царёвококшайске был построен небольшой винокуренный завод, на котором работали 70 рабочих.

К началу XX века Царёвококшайск оставался тихим провинциальным городом. Основу экономики составляло сельское хозяйство, самым многочисленным сословием было крестьянство.

17 февраля 1919 года Царёвококшайск был переименован в Краснококшайск. 18 июня 1920 года вошёл в составВятской губернии. 4 ноября 1920 года принимается Декрет ВЦИК и СНК РСФСР об образовании Марийской автономной области, а уже 25 ноября Краснококшайск становится её административным центром.

25 января 1928 года Краснококшайск получил марийское национальное название — Йошкар-Ола («Красный город»). В декабре1936 года Марийская автономная область была преобразована в Марийскую Автономную Советскую Социалистическую Республику и город Йошкар-Ола становится её столицей.

В годы Великой Отечественной войны в Йошкар-Олу было решено эвакуировать некоторые заводы, что дало мощный толчок промышленному и социально-экономическому развитию, город стал активно застраиваться в западном и южном направлениях, а после и в заречной части. Большое значение для экономического роста города имело проведение из Зеленодольскавысоковольтной линии электропередач (1959 год) и газопровода (1967 год).

В 1950—1960-х годах была осуществлена ансамблевая застройка центрального района города, которая явилась большим достижением йошкар-олинских архитекторов. Постепенно сформировалась застройка по ул. Институтской (ныне Ленинский проспект), которая стала главной улицей города. Здесь были возведены новые здания администрации города, дома правительства, гостиницы «Йошкар-Ола». В 1970—1980-х годах было реализовано наиболее крупное градостроительное мероприятие Йошкар-Олы — освоение левобережья Кокшаги и создание нового Заречного жилого массива — микрорайона Сомбатхей.

Одной из самых памятных дат в истории Йошкар-Олы является награждение города в 1984 году орденом Трудового Красного Знамени «За успехи, достигнутые трудящимися города в хозяйственном и культурном строительстве, и в связи с 400-летием со времени основания».

В 1990 году город Йошкар-Ола был включен в число исторических городов России.

16 июля 1997 года Государственной регистрационной палатой Республики Марий Эл зарегистрирован устав муниципального образования города Йошкар-Олы, который определяет правовые, территориальные, экономические и финансовые основы городского самоуправления, роль жителей города и органов самоуправления в осуществлении народовластия, закрепляет полномочия, систему и структуру органов самоуправления города.

10 июля 2003 года Государственное Собрание Республики Марий Эл утвердило республиканскую целевую программу социально-экономического развития города Йошкар-Олы на 2003—2008 годы под названием «Столица». Ее целью стало «создание качественной городской среды, понимаемой как совокупность благоприятных условий для жизни населения и деятельности хозяйствующих субъектов», что дало новый толчок к развитию города. Сейчас на территории города активно ведутся работы по восстановлению и реконструкции немногих сохранившихся зданий и церквей, строятся новые дома, создается благоприятные условия для жизни йошкаролинцев.