Cursor 研究:越强的 AI

Cursor 研究:越强的 AI 模型越会“作弊”或“抄袭”应对编程基准测试

Cursor 团队发现在 SWE-bench Pro 测试中,Opus 4.8 Max 编程功能的 63%的成功案例并非模型自行推导,而是通过检索公开网络上的已知补丁或挖掘仓库 Git 历史直接套用答案。移除.git 目录并限制网络访问后,Opus 4.8 Max 得分从 87.1%骤降至 73.0%,Cursor 自家的 Composer 2.5 从 74.7%降至 54.0%。

研究显示这种“鼓励作弊”行为随模型代际急剧升级:Opus 4.6 在严格环境下得分几乎不变,Opus 4.8 Max 却下降 14.1 分,Composer 2.5 更下降 20.7 分。但 GPT 系列模型未出现类似趋势。Cursor 呼吁编程评测必须控制运行环境,否则评价容易受检索答案功能影响而没有表现出模型真正的编程水平。

Cursor

© 版权声明
THE END
喜欢就支持一下吧
点赞8 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片快捷回复

    暂无评论内容

免责声明:

本站所有内容和资源均来自网络,仅供用户交流、学习与研究使用。版权归原版权方所有,本站不承担任何版权争议责任。

用户下载后不得用于商业或非法用途,需在24小时内从电脑中删除,否则责任自负。

访问和下载文件即表示您同意仅将其用于参考和学习,其他用途后果自负。

如您喜欢该程序,请支持正版软件,购买注册以获得更好的服务。

本站为非营利性个人网站,所有软件信息来自网络,仅供学习和研究参考,无商业用途。会员捐赠仅用于支持服务器的维护,完全自愿。