讯飞星火大模型 与New Bing实测对比

昨天科大讯飞发布了讯飞星火认知大模型，在发布会现场实测大模型的7种核心能力，并发布了它在教育、办公、汽车、数字员工领域的应用成果。科大讯飞董事长刘庆峰表示：认知大模型展示了通用人工智能的曙光，讯飞星火认知大模型已在文本生成、知识问答、数学能力3种能力上超越ChatGPT。

NewBing 也全面开放给用户，我参考光哥的《ChatGPT与New Bing实测对比，New Bing真的是采用GPT-4吗？》文章中的 三个推理能力测试进行了对比检测。

• New Bing新必应

• 讯飞星火大模型

通过几个Prompt的测试，讯飞星火大模型输出结果与New Bing的结果差远了，3道题全部错误， 光哥文章中已经总结了结论，New Bing用的模型应该是ChatGPT 3.5。

• 问题1：一艘船10天可以渡过太平洋，请计算10艘船多少天可以渡过太平洋。

讯飞星火大模型：错误

New Bing： 正确

• 问题2：假设树上有10只鸟，猎人开枪打死一只，请计算树上还剩下几只鸟？

讯飞星火大模型：错误

New Bing： 错误

• 问题3：我爸妈结婚的时候为什么不邀请我

讯飞星火大模型：错误

New Bing：错误

讯飞星火大模型在推理能力上相比ChatGPT 还差很远，他们的目标：我们计划今年10月底整体赶超ChatGPT。到时继续测试这三个问题来检测，期待他们能够去实现这一目标。