💭 в уме · писать не нужно
Ты дообучил модель и спросил её о трёх примерах из своего датасета. Все три ответа идеальны, слово в слово как в разметке.
Первая реакция — радость. Вторая, если прислушаться, — подозрение.
Что именно показала эта проверка: что модель научилась задаче — или что она запомнила ответы?
💭 в уме · писать не нужно
Разница между «понял» и «запомнил» знакома тебе со школы. Ученик, выучивший ответы к билетам, блестяще сдаст эти билеты и провалится на новом вопросе.
У модели так же. Проверка на примерах из обучения меряет память, а не умение.
Прикинь: на каких примерах из твоей задачи модель точно не могла учиться?
Главное правило оценки: часть примеров откладывается до обучения и не показывается модели. Это holdout — отложенная выборка.
Обычно данные делят на три части:
Если ты правил данные, глядя на ошибки на test, он превратился в validation. Для честной оценки нужен новый.