Der Körper des Menschen«, schreibt der litauische Kunsthistoriker Jurgis Baltrusaitis in seinem Buch »Imaginäre Realitäten«, »ist zu allen Zeiten von den Wahrsagern und Philosophen auf Zeichen seiner verborgenen Anlagen hin untersucht worden. Die Form der Nase, der Augen, der Stirn, die Gestalt jedes Teils und des Ganzen enthüllen dem, der zu lesen versteht, seinen Charakter und seinen Geist. Der Physiognomiker beobachtet den Körper wie der Astronom den Himmel, in den Ordnung und Schicksal der Welt eingeschrieben sind, und er bedient sich dabei der Methoden der Deduktion und der Analogie.«
Schon in griechischen und lateinischen Texten finden sich Beschreibungen, wie man aus der Analogie des Aussehens von Tier und Mensch beziehungsweise aus der physischen Erscheinung von Menschen Rückschlüsse auf deren Charakter ziehen kann. Nach dem in der Antike lebenden Schriftsteller Pseudo-Aristoteles erkennt man grossherzige Menschen an festem Haar, aufrechtem Körper, kräftigem Körperbau und einem breiten und vorstehenden Bauch. Kleinmütige Menschen haben dagegen weiches Haar, einen schlaffen Körper, dünne Waden, ein blasses Gesicht und unstete Augen. Der Physiognomiker Adamantios schrieb Menschen, die kleine Kinnbacken, wie sie die Schlangen haben, zu, ähnlich verräterisch und grausam in ihrem Charakter zu sein.
Im Mittelalter wurden solche Ansichten im »Liber Compilationis Physiognomia« des Pietro d' Abano wieder aufgegriffen und vom Autor mit Spekulationen über die Verbindung zwischen Astrologie und Physiognomik um neue Aspekte erweitert.

In der Renaissance war es die »Humana Physiognomia« von Giambattista della Porta, die das Thema erneut populär machte.

Della Porta stellte seinem Werk die folgenden Annahmen voraus:

1. Jede Tierart hat eine ihren Eigenschaften und Leidenschaften entsprechende Gestalt.

2. Die Elemente dieser Gestalten finden sich auch beim Menschen.

3. Der Mensch, der dieselben Züge wie ein Tier hat, besitzt einen entsprechenden Charakter.

So weist für della Porta eine grosse und witternde Nase und eine hohe Stirn, wie sie Hunde haben, auf Freimut und Klugheit hin, eine stumpfe Nase, wie sie der Hirsch hat, auf ein wollüstiges Temperament. Ein kleiner Kopf, wie ihn der Vogel Strauss hat, ist einem Verrückten zu eigen. Und wer einen grossen Kopf wie die Eule hat, zeichnet sich durch einen stumpfen Geist und einen unbelehrbaren Charakter aus.
Der französische Hofmaler Charles Le Brun, ein Schüler von della Porta, zeichnete die Abbildungen zu dessen Werk nach eigener Auffassung neu. Die tiefgründigen Zeichnungen, die Le Brun hervorbrachte, beunruhigen. Sie zeigen etwas unheilvoll Mysteriöses und erschreckend Visionäres und führen den Betrachter in eine übernatürliche Welt.
Kein Werk aber fand in Europa mehr Beachtung als die in den Jahren 1775 bis 1778 erschienenen vier Bände der »Physiognomischen Fragmente« des Schweizer Theologen und Dichters Johann Kaspar - Lavater. Zu diesem enzyklopädischen Werk steuerte Johann Wolfgang von Goethe Textabschnitte und Zeichnungen bei. Im letzten Band legte Lavater eine phantastische Entwicklungstheorie vor, in der es ihm, zumindest auf einer Tafel mit einer Serie von Zeichnungen, gelang, die Entwicklung des Frosches über den Menschen bis zum Gott Apollon nachvollziehbar zu machen. Der Maler und Karikaturist J. J. Grandville stellte in seiner 1836 erschienenen »Animalomanie« diese Entwicklung umgekehrt dar. Er lässt Apollon wieder zur Ebene eines Frosches hinabsteigen.
Lavaters Lehren beeinflussten den Dichter Honore de Balzac so sehr, dass es in seinen Werken nur so von Menschen wimmelt, die in ihrer Physiognomik Fuchs, Hund, Bär, Löwe oder Stier gleichen, Katzen- oder Raubvogelaugen haben oder Nasen tragen, die wie der Schnabel einer Krähe oder eines Adlers geformt sind.
Auf Lavater folgte Franz Joseph Gall (1758-1828), der mit seiner 1818 erschienenen Schrift »Anatomie et Physiologie ... avec des Observations sur la Possibilitö de Reconnaitre plusieurs Dispositions Intellectuelles et Morales de l'Homme et des Amimaux par Configuration de leur Tate« die neue »Wissenschaft« der Phrenologie begründete. Galls Lehre bestand darin, aus der Schädelbildung, der äusseren Form des Gehirns, Fähigkeiten, Neigungen, Charakter und Leidenschaften bei Mensch und Tier abzulesen. »In der Verteilung von Höckern, Mulden, Flächen des Schädelkastens ist das moralische Bild gleichsam eingezeichnet.«, nach Jurgis Baltrusaitis.
Ein »Dictionnaire de Phrenologie et de Physiognomie« von 1836, das sich Künstlern als Handbuch empfahl, nennt auch die Zeichen am Kopf von Menschen, die wie Pythagoras, der heilige Johannes von Patmos, Dante, Swedenborg und Lavater die Gabe des zweiten Gesichts besassen.