Что показала проверка
METR изучала работу Anthropic 11 недель. Отчёт вышел в четверг. Проверка посвящена исследованиям и разработке ИИ внутри компании.
По результатам тестов, за последний год Anthropic продвинулась примерно так же, как раньше за два года. Авторы отчёта уверены, что дело не только в росте вычислительных мощностей для обучения.
Какую роль играет ИИ
По оценке METR, к октябрю основная часть ускорения связана с ИИ, и его вклад растёт. Выводы опираются на неформальные опросы в Slack и интервью с сотрудниками.
- Сотрудники, которые работают с самой мощной внутренней моделью, оценили свою продуктивность примерно в 12 раз выше, чем без ИИ.
- Несколько месяцев назад при работе с Mythos 5 они называли показатель примерно вдвое ниже.
- Пока ИИ в основном помогает исследователям-людям, а не работает самостоятельно.
METR предупреждает, что есть признаки растущей роли полностью автономного вклада ИИ. Явных ограничений, которые помешали бы ещё более быстрому ускорению, она не обнаружила.
Непубличные модели
По данным METR, за последние полгода Anthropic закончила обучение трёх моделей, которые пока не вышли. В материалах они названы Model 2, Model 3 и Model 4. Это кодовые имена, которые компания сообщила METR. Обучение завершилось в июле, в августе–сентябре и в сентябре–октябре соответственно.
Заметная часть ускорения и прироста продуктивности связана именно с такими внутренними моделями. Подробностей об их возможностях в доступных материалах нет.
Что осталось за кадром
Anthropic дала METR больше данных, чем планировалось: закрытые исследования, показатели моделей, интервью с сотрудниками. Но доступ был ограниченным, а часть запросов METR компания отклонила.
Кроме того, Anthropic могла скрывать фрагменты итогового отчёта, и, судя по словам METR, активно этим пользовалась. METR передала компании полный отчёт примерно на 100 страниц. В публичной версии, по её словам, убрана большая часть наиболее важных доказательств.
В результате, как пишет METR, публике приходится сильнее полагаться на её оценки, чем хотелось бы.
Отчёт вышел, когда Anthropic готовится к выходу на биржу. Глава компании Дарио Амодеи при этом публично призывал лаборатории притормозить разработку ИИ.
Источник
По материалам AI | The Verge.