Over het ontstaan van de mondharmonica gaan verschillende verhalen. Het fenomeen mondharmonica werd ruim 3000 jaar geleden al omschreven in China. Hoewel de vorm van de harmonica vandaag wezenlijk anders in dan in de oudheid werken deze instrumenten op een zelfde manier: Allen zijn instrumenten met zogenaamde vrijslaande rietbladen. Het riet vibreert door te blazen in een van de speelpijpen. Dat zorgt voor het geluid van de mondharmonica.

De mondharmonica zoals we die heden ten dage kennen is ontwikkeld aan het begin van de 19de eeuw. Het grote verschil met de oudere oosterse mondharmonica is dat op de nieuwe generatie ook geluid gemaakt kan worden door adem in te halen. In deze periode ontstond de diatonische mondharmonica (tegenwoordig ook Bluesharp genoemd).

Experimenten met de zogenaamde belharmonica en met de trompetharmonica zijn mislukt, maar de ontwikkeling van de chromatische mondharmonica, ongeveer halverwege de 20ste eeuw voegde een nieuwe dimensie toe aan het mondharmonicaspelen. Naast alle hele noten kon men nu ook alle halve noten spelen. Hierdoor werd het instrument uitermate geschikt als solo instrument. Een van de eerste bekende chromatische mondharmonicaspeler was Larry Adler, gevolgd door ondermeer de Belg Jean Baptiste "Toots" Thielemans die de chromatische mondharmonica haar plaats gaf in de jazzmuziek.