💭 в уме · писать не нужно
Весь курс ты работал с моделью снаружи: формулировал задачу, держал контекст, подключал инструменты, собирал агентов. Модель оставалась чёрным ящиком, который иногда отвечает блестяще, а иногда уверенно сочиняет.
Вспомни последний такой случай. Агент назвал несуществующую функцию, выдумал ссылку или «вспомнил» факт, которого не было.
Как думаешь: это сбой, который скоро починят, — или так устроена сама машина?
💭 в уме · писать не нужно
Держи в голове оба варианта. Если это сбой — хватит подождать новую версию. Если это свойство устройства — придётся научиться с ним жить.
В модуле 09 ты уже работал с источниками, а модуль 11 разберёт память и поиск. Прикинь, почему опора на найденный источник вообще работает.
Ответ станет ясен, когда увидишь, чему модель учится на самом деле.
Модель не читает буквы и слова. Текст режется на токены — куски слов, иногда целые слова, иногда отдельные символы. Каждому токену соответствует номер в словаре модели.
Отсюда бытовые странности: модель плохо считает буквы в слове и путается в длинных числах. Она видит не буквы, а куски.
Каждый номер токена превращается в эмбеддинг — длинный вектор чисел. Похожие по смыслу куски оказываются рядом в этом пространстве. Эта же идея стоит за поиском по смыслу в твоей AI-тетрадке (модуль 09) и во «втором мозге» (модуль 11).
Главный механизм современных моделей описан в статье «Attention Is All You Need» (Vaswani и соавторы, 2017). Архитектура называется трансформер.
Суть attention (внимания): для каждого токена модель решает, на какие другие токены в тексте смотреть и насколько сильно. В фразе «кошка не влезла в коробку, потому что она была мала» слово «она» должно смотреть на «коробку».