测试代号为Orion的新模型的员工发现，这些新策略包括使用AI模型生成的合成数据对Orion进行训练，以及在训练后的过程中对模型进行更多改进。
的评论请求。不过上个月OpenAI曾表示，“我们今年没有发布代号为Orion的模型的计划。”
OpenAI下一代模型被曝质量提升不大
使用ChatGPT的用户数量正在飙升。不过，ChatGPT的底层模型的改进速度似乎正在放缓。
OpenAI即将推出的旗舰模型Orion所面临的挑战显示了OpenAI所面临的困难。今年5月，OpenAI首席执行官奥特曼告诉员工，他预计正在训练的Orion可能会比一年前发布的上一款模型好得多。
据The Information近日援引知情人士透露，奥特曼表示，尽管OpenAI只完成了Orion训练过程的20%，但就智能程度以及完成任务和回答问题的能力而言，它已经与GPT-4相当。
OpenAI研究员Noam Brown上个月在TED AI会议上表示，开发更先进的模型在财务上可能不可行。
“毕竟，我们真的要训练耗资数千亿美元或数万亿美元的模型吗？”Brown说。“在某个时候，扩展范式就会崩溃。”
高质量数据不足导致性能减速
Scaling laws是AI领域的一个核心假设：只要有更多的数据可供学习，以及额外的计算能力来促进训练过程，大语言模型就会继续以相同的速度改进。
扎克伯格、奥特曼等人工智能开发商的首席执行官也公开表示，他们尚未触及传统Scaling law的极限。
这就是为什么包括OpenAI在内的公司仍花费数十亿美元来建造昂贵的数据中心，以尽可能地从预训练模型中获取性能提升。
虽然理论上目前的模型并没有触及Scaling law的极限，但是可供使用的数据据The Information援引知情人士表示，过去几年里，大语言模型在预训练过程中使用了来自网站、书籍和其他
OpenAI的应对之策：合成数据、强化学习
为了应对这种情况，据OpenAI的一名员工称，Orion的训练数据里有一部分是AI生成的合成数据。这些数据由GPT-4和最近发布的推理模型o1生成。然而，该员工表示，软件公司Databricks的联合创始人兼董事长Ion Stoica表示，这种合成数据可能并不能帮助AI进步。
Stoica说道：“对于常识性问题，你可以说现在我们看到的是大型语言模型性能都处于一个停滞状态。同时，o1就是OpenAI使用这种改进手段得到的成果，o1模型在给出答案前，会花更多时间来“思考”大语言模型在训练过程中处理的数据。这意味着，即使不对底层模型进行修改，只要在回答用户问题时提供额外的计算资源，o1模型的回应质量就能持续提升。据知情人士透露，如果OpenAI能够持续改进底层模型的质量，哪怕速度较慢，也能显著提升推理效果。
“这为我们提供了一个全新的扩展维度，”Brown在TED AI大会上表示。研究人员可以通过将每次查询的成本从一分钱提升到十分钱来提高模型的响应质量。“
奥特曼同样强调了OpenAI推理模型的重要性，这些模型可以与LLMs结合。
奥特曼在10月份一个面向应用开发者的活动中表示：“我希望推理功能能解锁我们多年来期待实现的许多功能——例如，让这类模型有能力贡献新的科学知识，帮助编写更复杂的代码。”
但两位知情员工表示，o1模型目前的价格比非推理模型高出六倍，因此它没有广泛的客户群。
与此同时，o1模型的安全性也被很多人诟病，杂志就曾表示，在评估过程中，他们发现值得一提的是，OpenAI安全系统团队负责人翁荔近日也宣布将离开已经工作了近7年的OpenAI。