Der Transformer ist eine 2017 veröffentlichte Architektur neuronaler Netze, die mittlerweile die Grundlage praktisch aller modernen Sprachmodelle bildet – von GPT bis Claude und Gemini. Sein Kern ist das sogenannte Self-Attention-Verfahren: Jedes Element einer Eingabesequenz kann „direkt" auf alle anderen Elemente schauen und ihren Beitrag zur Bedeutung gewichten.
Damit löste der Transformer die Probleme früherer Sequenzmodelle wie LSTMs: lange Abhängigkeiten in Texten werden besser gelernt, das Training lässt sich massiv parallelisieren und Modelle skalieren auf Milliarden Parameter. Mit dieser Skalierung kommen die heutigen Fähigkeiten – flüssige Sprache, logisches Schließen, Übersetzung, Codegenerierung.
Für Recruiting-Anwendungen sind Transformer indirekt allgegenwärtig: Embedding-Modelle, semantische Suche, Resume Parser, Job-Bewertungen, Anschreibens-Generatoren – alles basiert in der Regel auf Transformer-Varianten. Wer die Architektur grob versteht, kann Stärken und Schwächen besser einordnen.
Lunigi nutzt Transformer-basierte Modelle im Backend, ohne dass Suchende die Technik bedienen müssen.