И целого интернета мало. Для создания больших языковых моделей нового поколения, включая GPT-5, попросту не хватает данных

02.04.2024 в 14:09,
Hard news

Похоже, процесс создания всё более масштабных и сложных языковых моделей на основе ИИ уже упёрся в одну весьма серьёзную преграду. Для таких моделей весь интернет фактически слишком мал.  создан

о DALL-E Для обучения больших языковых моделей нужно очень и очень много данных. GPT-4, согласно данным аналитика Epoch Research, обучали на 12 трлн токенов, а GPT-5, вероятно, понадобится 60-100 трлн ...

Автор: mpak@ixbt.com (MPAK)
Источник: https://www.ixbt.com/news/2024/04/02/i-celogo-interneta-malo-dlja-sozdanija-bolshih-jazykovyh-modelej-novogo-pokolenija-vkljuchaja-gpt5-poprostu-ne-hvataet.html
×