Első ismert említése Villa Scemes alakban írva maradt fent II. Endre idejéből. Később egészen 1912-ig Faluszemesnek hívták, valószínűleg megkülönböztetésül a közelben, Balatonföldvártól délre fekvő Pusztaszemes községtől. A mai név első tagja a tó közelségére utal, második tagja pedig a szem szóval függ össze. A szemes minden bizonnyal őrhely voltára utal, ugyanis az ókortól kezdve itt haladt a Balaton déli partját követő kereskedelmi és hadi út, amelyet figyelni, őrizni kellett.
Az őskor óta lakott terület. A mai temetőben feltárt hatalmas halomsír vaskori eredetű. Az ókorból származó régészeti leletek tanúsága szerint éltek itt kelták és rómaiak is. A honfoglalástól kezdve magyarok lakták.
A mai Bagolyvár helyén még a középkorban is földvár állt (Bolondvár néven), amely a török időkben a végvári láncolat részét képezte, ez hol a magyarok, hol a törökök kezére került; többször lerombolták, majd újra megerősítették. (A jelenlegi "Bagolyvár" nevű épületet 1898-ban az egykori erősség helyén építették; ez volt az első szemesi nyaraló.)
A 18–19. században, 1790-től 1861-ig postakocsi lóváltó-állomás is működött a községben, mely ekkoriban a déli part jelentős településének számított. A Hunyadyak által a család kastélya közelében építtetett, ma is álló barokk postaépületben Postamúzeum működik.
A község lakossága eredetileg mezőgazdasággal és halászattal foglalkozott. Fürdőhelyként Balatonszemest csak az 1880-as évektől kezdték számításba venni. A főleg budapesti nyaralók eleinte a helyi lakosok kiadó szobáit bérelték ki az üdülőidényben, majd 1895-től a parthoz közel eső részek parcellázásával megkezdődött a felső és alsó üdülőtelep (az utóbbi neve Hunyady-telep az eredeti birtokos család neve után) kiépülése, amelynek 1913-ban újabb lökést adott a hajókikötő megépítése.
A "szocializmus" éveiben a Hunyady-telep parkjának helyén jött létre a Balaton-part nagy szovjet gyermek-üdülőtábora, amelynek jelenléte némiképp rányomta bélyegét az üdülőhely hangulatára, ahogy az is, hogy a parti sávban való közlekedést kelet (Balatonőszöd) felől megnehezítette a Minisztertanács ott felépített, jól őrzött üdülője.
1976. június 4-én a balatonszemesi vasútállomás közelében érte a halál a faluhoz családilag is kötődő Latinovits Zoltánt, akinek a község temetőjében lévő sírja és síremléke azóta zarándokhellyé, nevezetességgé vált.
A rendszerváltás óta Balatonszemes mint üdülőhely igyekszik visszanyerni a 20. század első felében kialakult, a középosztályhoz kötődő polgári, családias arculatát.