Entre les VIe et IVe siècles avant notre ère, les Sarmates se sont installés dans ce qui est aujourd'hui le sud de la Russie, remplaçant finalement les Scythes en tant que tribu dominante dans cette région. Ils ont disparu des archives historiques après que leurs terres aient été envahies par les Huns à la fin du IVe siècle, et on en sait peu sur eux.
Cependant, ils sont ressuscités dans le domaine de la mythologie. Selon une légende qui a gagné en popularité en Pologne au XVe siècle, les anciens Sarmates se sont rendus sur les terres polonaises et ont donné ordre et stabilité à la population locale primitive. Ce mythe a contribué à justifier le servage, permettant aux nobles d'imaginer qu'ils appartenaient à une lignée raciale supérieure. L'histoire sarmate est devenue extrêmement populaire, ce qui a conduit certains à appeler Copernic le Ptolémée sarmate.
Le sarmatisme n'avait pas de contenu religieux spécifique au début, mais pendant la Contre-Réforme, alors que les catholiques s'efforçaient d'éradiquer la diversité religieuse dans la République polonaise et que l'État luttait contre des ennemis non catholiques à l'extérieur du pays, la légende a muté pour inclure le idée que les Sarmates avaient une mission de Dieu pour répandre et défendre la Vraie Foi.
À la fin du XVIIe siècle, le sarmatisme avait développé un caractère xénophobe, car de nombreux nobles polonais se détournaient de toutes les influences «étrangères» pour se glorifier de leur héritage indigène sarmate. Ce mythe a même influencé le style vestimentaire, l'art et l'architecture de la Pologne au cours des XVIIe et XVIIIe siècles, car les nobles en sont venus à des motifs pseudo-orientaux fantaisistes qui, selon eux, évoquaient leur héritage racial.
Les intellectuels des Lumières polonaises ont blâmé le sarmatisme pour les crises du XVIIIe siècle et pour la destruction et la partition de la Pologne. Bien que certaines des caractéristiques stylistiques aient vécu un peu plus longtemps, l'idéologie plus large du sarmatisme s'est estompée au XIXe siècle ou a survécu comme un élément trace au sein de nouvelles formations idéologiques.