最近,桥水基金旗下AIA Labs发布了一项针对前沿AI模型金融判断能力的研究,结果让人意外:GPT、Claude、Gemini在基础金融信息筛选任务中,准确率仅有50%~70%,远未达到80%的可靠部署门槛。这意味着,如果你想用这些AI帮你分析财经文章或利率走向,可能还不太靠谱。
这项测试还发现,微调后的开源模型(如阿里Qwen3-235B)在准确率和成本上都碾压这些商业大模型。对普通用户和AI会员来说,这背后藏着不少信号。
桥水这次到底测试了什么?
桥水基金旗下的AIA Labs联合OpenAI前CTO Mira Murati创立的Thinking Machines Lab,从投资分析师的日常工作中抽取出六项典型任务,评估前沿大语言模型的基础金融信息筛选能力。这些任务包括:
- 判断一篇财经文章对高管层是否具有参考价值;
- 判断央行文件是否暗示未来利率变化方向;
- 识别市场评论中的关键信号等。
对这些专业投资者而言,这些任务非常基础,但他们往往难以用语言清晰描述自己的判断逻辑。因此,研究团队想看看AI能否替代部分初级筛选工作。结果却令人失望——即便使用专家精心撰写的提示词和三级分类体系(“相关且有趣”“相关但无趣”“不相关”)进行优化,前沿模型的准确率仍徘徊在70%左右,未达到研究团队设定的80%可信部署门槛。
GPT Claude Gemini准确率到底多低?
在最初的基础测试中,Gemini、Claude和GPT各版本的平均准确率仅约50%,相当于抛硬币的水平。经过提示词优化与分类体系后,准确率提升至70%左右,但依然让人难以放心。
更有意思的是,模型迭代并未在该任务上带来质变。报告指出,GPT-5.4比GPT-5.2价格高出43%,但准确率仅略有提升,而GPT-5.2相比GPT-4o也几乎没有显著跃升。换句话说,烧更多钱升级到最新模型,对这类专业金融判断的帮助微乎其微。
| 模型 | 基础提示准确率 | 优化后准确率 | 是否达标(80%门槛) |
|---|---|---|---|
| GPT (版本未详) | ~50% | ~70% | 否 |
| Claude (版本未详) | ~50% | ~70% | 否 |
| Gemini (版本未详) | ~50% | ~70% | 否 |
| 微调Qwen3-235B | 未公布 | 显著高于70%且成本低 | 接近或超过 |
(数据来源:桥水AIA Labs报告,具体数字以官方为准)
为什么大模型做金融判断这么难?
金融文本的判断往往依赖隐含的上下文、市场情绪和领域知识,这些很难被清晰地写在提示词里。大模型虽然能理解语法,但缺乏对“什么叫对高管有价值”“利率变化的前兆信号有哪些”的隐性经验的精准把握。这就导致它在看似简单的信息筛选任务上频繁出错。
此外,通用大模型的训练数据虽然海量,但金融领域的微小信号容易被噪声淹没。报告也提到,专业投资者的判断逻辑很难用语言描述,即使给模型提供了专家写的提示词,它也未能学会这种“只可意会”的筛选直觉。
微调开源模型为什么反而更准更省钱?
研究团队随后采用微调方案,以阿里开源模型Qwen3-235B为基座,通过Thinking Machines Lab的Tinker平台进行训练。有趣的是,他们在最初采购非专业标注服务时发现大量标签存在错误,于是转而使用内部专家进行高质量标注。
结果,微调后的模型在准确率上超过了所有前沿商业模型,并且推理成本大幅降低。这反映出:在垂直、知识密集领域,用小而精的训练数据和针对性微调,比盲目使用大型通用模型更高效。
对于你来说,这也意味着未来可能会有更多基于开源底座、针对特定金融场景微调的AI工具出现,它们可能比ChatGPT、Claude更适合做财务分析、研报解读等任务。
这对普通AI用户意味着什么?
如果你是ChatGPT Plus或Claude Pro的订阅者,想用它们辅助炒股、分析财报,现在需要重新校准期望了。目前这些模型在基础金融信息筛选上都不及格,直接依赖它们的判断做投资决定风险极高。
不过,这并非是说AI毫无用处。对于信息收集、摘要生成、多空观点汇总等任务,它们仍然能节省时间。关键在于:将它当作一个初筛工具,最终决策一定要靠自己的经验或专业投资顾问把关。
另外,报告也暗示,专业金融AI工具可能会是下一个赛道。如果你对AI会员有特定金融需求,未来可以关注那些基于开源模型微调的垂直产品,它们很可能在成本与准确率上实现更好的平衡。
如果你需要用AI处理金融任务,该怎么选?
现阶段,若需要处理基础金融信息筛选、研报摘要等,可以考虑以下几种策略:
- 通用模型做初筛:用ChatGPT、Claude快速提取文章要点或识别关键词,但别轻信其判断。
- 尝试开源微调方案:如果你有一定技术能力,可以考虑在Qwen、DeepSeek等开源底座上用少量专家标注数据微调,成本远低于付费API,且准确率可能更高。
- 等待专业产品:桥水的研究可能加速金融AI工具的推出,建议保持关注。
如果你只是偶尔看看财经新闻,免费版AI就够用;但如果涉及真金白银,千万别省这笔“人工判断”的成本。
注意:别被AI的“金融建议”带坑里
当前AI输出的金融判断往往言之凿凿,容易让人产生信赖感。但桥水的测试敲响了警钟:在专业领域,AI的“自信”和“准确”是两回事。一些需要避开的典型坑:
- 盲目跟从AI的买卖建议:即使模型提示“看涨”,背后的逻辑可能不成立。
- 用通用模型处理复杂衍生品信息:这些任务需要高度结构化知识,AI极易混淆。
- 忽视数据时效性:许多大模型知识截止较早,无法反映最新市场动态。
如果你对某个金融判断拿不准,最稳妥的办法还是咨询专业机构,或者至少交叉验证多个信息源。AI可以是你的辅助,但绝不能替代你的独立判断。
信息来源:www.ithome.com。本文为基于公开资讯的原创整理与解读,非原文转载。