备受争议的 X(前身为 Twitter)所有者埃隆·马斯克 (Elon Musk ) 在 X 帖子中表示,Grok 2 将于 8 月推出,Grok 3 将于年底推出。关于这些即将推出的语言模型,目前还不清楚太多,但马斯克确实提到,Grok 3 将在100,000 台 Nvidia H100上进行训练,因此“应该是一件非常特别的事情”。
马斯克透露 Grok 2 的发布月份是为了回应 Cohere 首席执行官艾丹·戈麦斯 (Aidan Gomez) 的一段视频,视频中他解释说,许多模型都是“在 OpenAI 的模型输出上进行训练”。戈麦斯表示,由于 Cohere 没有对其 LLM 进行这种训练,因此用户表示感觉有些不同。
对此,马斯克表示同意视频中的观点,并表示从互联网训练数据中清除法学硕士需要做大量工作。他指出,Grok 2 将“在这方面取得巨大进步”。
对于那些不熟悉 OpenAI 历史的人来说,埃隆·马斯克实际上是该公司的联合创始人,但最终因分歧而分道扬镳。在推出 ChatGPT 后,马斯克的回应是,在 X 中增加了一个名为 Grok 的付费法学硕士课程,该课程强调幽默,使其更加逼真。
Grok 的最新版本是 1.5 版,于 3 月发布,具有改进的推理能力和 128,000 个标记的上下文长度。Grok 1.5 在 MMLU、MATH 和 GSM8K 基准测试中的得分不如 GPT-4,但差距不大,并且在 HumanEval 基准测试中成功超越了 GPT-4。