4月13日消息,据《金融时报》报道,人工智能初创公司GeneralReasoning发布的一项研究显示,X平台的聊天机器人Grok在预测体育赛事结果方面表现糟糕,明显落后于其他主流大语言模型。
该研究测试了八个主流LLM对2023-24赛季英超联赛的预测和投注能力。研究人员向这些模型输入了各支球队及历史比赛的详细数据,要求它们建立模型以最大化回报并管理风险。每个模型获得三次模拟机会和13.3万美元(10万英镑)的初始资金。
结果显示,Anthropic的ClaudeOpus4.6表现最佳,三次尝试平均亏损11%,最终平均剩余资金为8.9万英镑。相比之下,X平台的Grok在第一次尝试中便亏光所有资金,后两次尝试未能完成任务,最终平均资金归零。OpenAI的GPT-5.4平均亏损13.6%,最终平均剩余11.6万美元(约8.64万英镑)。谷歌的Gemini3.1Pro整体表现最差但波动极大,平均亏损43.3%,但最佳一次尝试回报率达33.7%。
研究报告指出,总体而言AI在此类测试中"系统性跑输人类"。GeneralReasoning首席执行官RossTaylor表示,尽管AI自动化备受追捧,但目前"缺乏将AI置于长期预测场景中的实测",当前测试多发生在"静态环境",无法反映现实世界的复杂性。