Semper idem, короче говоря.

Тут в ходе некоей дискуссии в ЖЖ появилось предсказание о том, какая будет вторая ИИ-революция.

1) Для начала очень многие, если не люди, то фирмы, начнут гонять LLM на своих локальных мощностях, дабы можно было спокойно доверять им конфиденциальную информацию, и она бы никуда не утекла.

2) Как только это явление станет массовым, возникнет спрос на LLM заточенные под конкретные задачи. В принципе уже сейчас крупные производители LLM выкатывают по десятку моделей слегка приспособленных к тем или иным задачам - эта для писания кода, эта для разговоров на общие темы и т.д. Но по идее, количество специализированных дообученных LLM должно быть сравнимо с количеством специальностей, которым сейчас обучает система высшего и среднего персонального образования.

3) Далее, фирмы будут брать профессионально обученную LLM и дообучать ее уже на конкретном "рабочем месте" своим внутренним процессам. Очевидно, что позволить себе вычислительные мощности, на несколько порядков превосходящие те, на которых модель способна отвечать на конкретные вопросы, сможет далеко не каждый пользователь модели. Но это и не надо. Большую часть работы по обучению сделают специализированные организации на двух предыдущих пунктах.

Как мы знаем, человек тратит примерно 17 лет для получения общего образования и базовой социализации, 3-6 лет для получения профессионального образования, и несколько месяцев для того, чтобы вписаться в рабочий коллектив на новом месте. Человек отличается тем, что он использует ровно ту же самоую аппаратную часть и для обучения своей нейросети и для inference. Как мы знаем хорошего геймерского десктопа для inference современных LLM вполне достаточно. А куда большие мощности для обучения нужны потому, что создатели моделей не готовы ждать 15-20 лет, пока модель обучится до уровня выпускника общеобразовательной школы. Им нужно прогнать это за несколько месяцев. Но, в отличие от естественного интеллекта, модель копируется. Соответсвенно скопировав созданную на супер-пупер компьютерах базовую модель, можно на компьютере на порядок слабее за пару месяцев дать ей "профессиональное образование", А там еще раз раскопировать и пусть уже дообучается на рабочем месте малой скоростью.

Самое главное это чтобы она дообучалась на любых своих действиях, как это делает человек. Сейчас, когда у нас имеется одна модель и миллионы пользователей, вводится искусственное разделение на модель, скиллы, контекст и прочее. Если моделей будет много, такое разделение с возможностью отбросить более специализированные части будет лишним. (в крайнем случае всегда можно на бэкап откатиться).