18 октября 1781 года именным указом императрицы Екатерины II по докладу Сената об утверждении гербов городам Казанского наместничества был утверждён первый герб города. Герб Царёвококшайска имел традиционную форму городских гербов — боевой щит, так называемой французской формы, прямоугольный, с овально закруглёнными нижними углами и с остриём в середине нижней части. В верхней части герба — на белом поле — чёрныйдракон с золотой короной и красными крыльями — символ Казанской губернии  и свидетельство вхождения города Царёвококшайска в её состав. В нижней части — серебряный лось в голубом поле.

Следующий герб был принят 19 августа 1968 года. Автор проекта герба — в то время научный сотрудник республиканского краеведческого музея Н. В. Иванов. Герб имеет традиционную щитовидную форму с прямыми углами на верхней части и с закруглением двух нижних углов в овалы и остриём в середине нижней части. На верхнем краю щита — надпись «Йошкар-Ола», под надписью горизонтальная кайма с марийским орнаментом. На верхней половине щита по центру изображён силуэт снежинки, в её центре — шестерёнка. В нижней части половины щита изображён лось. Левая половина щита имеет голубую окраску, а правая — красную. Надпись «Йошкар-Ола» произведена золотом по белому фону. Силуэты снежинки и шестерёнки, а также изображение лося — белые, окаймлённые золотом. Щит — свидетельство боевых страниц в летописи Красного города. Сочетание голубого и красного цветов, составляющих основной фон герба напоминало цвета государственного флага РСФСР, в состав которой входила Марийская АССР со столицей — городом Йошкар-Ола. Национальный орнамент, взятый из марийской вышивки, которая по традиции наносится на белый цвет, надпись по белому фону «Йошкар-Ола» подчёркивают принадлежность герба столице Марийской АССР, ныне Республики Марий Эл. Снежинка — символ Марийского завода торгового машиностроения, продукция которого была широко известна не только в СССР, но и за его пределами. Одновременно снежинка символизировала географическое положение города, который находится в краю, где бывают суровые зимы. Шестерня в центре снежинки является общепринятым символом металлообрабатывающей промышленности. В нижней части щита — белый лось — символ благородства и силы. Он указывает на наличие вокруг города богатых лесов и лугов, где обитают эти животные.

Современный герб Йошкар-Олы был принят и внесён в Государственный геральдический реестр 28 октября 2005 года. В лазоревом поле серебряная лосиха, щит увенчан золотой башенной короной с пятью зубцами и с национальным марийским орнаментом в обруче. Авторами реконструкции исторического герба являются заслуженный художник Республики Марий Эл И. В. Ефимов и аспирант института истории Академии наук РеспубликиТатарстан П. И. Ефимов. Силуэт лося в новой эмблеме Йошкар-Олы означает историческую преемственность со старым гербом.