Трансформер
Также: Transformer, архитектура трансформер
Архитектура нейросети, на которой построены современные языковые модели. Её механизм внимания позволил обрабатывать длинные тексты и понимать контекст.
Трансформер — архитектура нейросетей, представленная в 2017 году и ставшая фундаментом всех современных LLM. Буква «T» в GPT — это Transformer.
В чём прорыв
Ключевая идея — механизм внимания (attention): модель для каждого слова взвешивает, насколько важны все остальные слова в тексте. Это позволило улавливать далёкие связи и контекст лучше прежних подходов и хорошо масштабироваться на огромных данных.
Почему вам это полезно понимать
Из архитектуры вытекают практические ограничения, с которыми вы сталкиваетесь: контекстное окно (сколько текста модель удержит за раз) и работа через токены. Понимание этого помогает грамотнее строить запросы к ИИ-ассистенту.