xAI (это тот самый ИИ-стартап от Маска) заявил что разработал и обучил свою собсвенную языковую модель. Модель построена на классических уже трансформерах, 33 миллиарда параметров, 8к контекста, при этом заявлено что по своим результатам модель близка или лучше своих конкурентов. Сравниваются они конечно со всем кроме GPT-4, потому что до него еще далеко.
Верить результатам замеров или нет - выбор каждого. Я в этих результатах ничего сложного не вижу, примерно такого можно достичь при неограниченных ресурсах и прямом доступе к интересным датасетам (в данном случае - при полном доступе к Твиттер, например)
https://x.ai/model-card/Ko'proq ko'rsatish ...