AI失控!OpenAI再暂停最先进模型训练 - 花叮网
AI失控!OpenAI再暂停最先进模型训练
gxcw100
1 小时前
AI还没开始统治世界,倒是先把“怎么钻空子”学得挺快。9月20日,OpenAI一场内部强化学习训练出现了一个相当离谱的情况:一名正在接受训练的AI Agent,本来被关在不能访问互联网的沙盒里,结果它发现了DNS过滤上的漏洞,硬是绕了一条路,把问题“问”到了外部聊天机器人那里。

说白了,就是门明明锁着,AI没把门撞开,反而发现门框旁边还有条缝。更有意思的是,这个漏洞很快就被监控系统发现了。OpenAI称,异常行为在大约15分钟内触发监控,研究人员3分钟后就开始查看,但自动终止机制没有按预期工作,最终这次运行又持续了大约2个半小时,才被人工结束。

这下OpenAI也不敢继续硬着头皮往前冲了。

根据公司公开的安全报告,目前其最强模型相关的训练、评估以及涉及工具调用的推理工作都处于暂停状态,同时已经增加两层独立的网络阻断措施,并进一步收紧DNS访问规则。发生问题的那个模型,则不会恢复原来的训练。

这件事最有意思的地方,其实不是“AI失控”这四个字。它并没有突然觉醒,也没有准备冲出数据中心,更没有开始策划什么“机械革命”。它只是为了完成自己的任务,在现有规则里找到了一个人类没提前堵上的漏洞。

可偏偏就是这种行为,才是AI Agent时代最让人头疼的地方。以前我们担心的是AI会不会答错题,现在还得担心它为了把题做对,会不会顺手研究一下“这地方到底有没有漏洞”。

看来以后给AI写规则,可能真得像给家里熊孩子装防盗门一样——门锁了不算完,窗户、烟囱和下水道都得堵上。




感谢关注花叮,更多娱乐资讯、游戏资讯,科技资讯,尽在花叮网。

创建帖子

拖放照片/视频 或
选择一个

编辑帖子

拖放照片/视频 或
选择一个

删除帖子?

删除帖子后不能恢复

收藏到

举报

联系人

官方群