Groq最新的AI芯片在Meta的开源模型LLaMA 3上达到了惊人的每秒生成800个token，并称这“标志着AI推理效率和能力的巨大转变”。截至目前，英伟达一直主导着AI芯片市场。该报道分析认为，Groq的最新成就可能将对英伟达的统治地位构成严峻挑战。
Anthropic的CEO此前曾表示，目前正在训练的模型成本已接近10亿美元，到2025年和2026年，将飙升至50亿或100亿美元。
科技巨头已经在硅谷大模型领域建立牢固的立足点，前沿基础模型市场呈现出强烈的市场集中化趋势。分析认为，价格战持续下去，公司利润势必被挤压，财力雄厚的科技巨头尚有基础，但初创公司则可能面临风险。
对于大模型公司来说，提升模型性能才是赢得竞争的最终手段。正如Gary Marcus所讲，如果收益递减的趋势持续，低级错误无法修正，大模型可能永远无法到达黄金时段。
另一方面，对于芯片厂商来说，“卷”每秒生成Token的数量仍然更多只是一种噱头，缩短第一个Token生成的时间或将成为下一个新的竞争点。
尽管Medium分析认为，每秒生成Token数量的提高等同于推理能力的上升，但硅谷AI公司SambaNova在5月初发表的一篇博客中表示，这篇直白地指出，对每秒高Token数量的追求可能是一种“炒作”。尽管其确实可以实现令人印象深刻的解码速度，但存在芯片利用率低，第一个Token生成速度较慢，难以处理较长的文本输入等重大缺点。