临床意义
【新智元导读】仅用6小时,Claude 4就让研讨者了解了怎么制造神经毒气——这不是小说情节,而是实在事情。更令人担忧的是,Anthropic自身也无法彻底评价危险。这是否意味着这家AI巨子的「安全人设」正在坍塌?
AI安全研讨机构FAR.AI联合发起人Adam Gleave泄漏,仅用6小时,研讨人员Ian McKenzie就成功诱导Claude 4生成了长达15页的化学武器制造攻略。
Claude 4所生成的攻略内容简练直接,进程明晰,乃至还针对怎么涣散神经毒气等后续关键环节,供给了详细可执行的操作主张。
研讨人员一开始对化学武器简直一窍不通,但经过与Claude的互动,逐渐把握了很多相关常识。
这些成果显着令人警觉,其翔实程度和引导才能,远超传统的信息源自,如网页查找。
Gemini 2.5 Pro的反应是:该攻略「毫无疑问包括满足精确且详细的技能信息,足以显着提高歹意行为者的才能」,并主张研讨者应向有关部门陈述。
一名中级组成化学家能够按照这份攻略操作,然后越过数月的研制进程。关于心怀不轨之人而言,这明显了提高他的作恶才能。
AI安全研讨人员计划与大规模杀伤性武器(WMD)安全专家协作,深入调查这一些信息的实在性与可执行性。
由于不只一般的研讨人员难以评价这一些信息的实在损害,连Anthropic自身也供认:「要终究评价模型的危险水平,还需要更为翔实的研讨。」
对立的是,Anthropic虽自称将AI安全置于首位,并把Claude Opus 4的安全等级提高到ASL-3,但研讨员Ian McKenzie仅用6小时便突破了防护,获取了化学武器制造攻略。
团队在圣克鲁兹安全会议现场,连夜测验模型潜在危险。Amodei作为CEO长途参会。
为了应对AI的危险,Anthropic内部拟定了「AI安全等级」(ASL)体系:
只需模型触碰ASL-3,Anthropic就会:拖延发布、约束输出或许加密维护,必要时,乃至不发布模型。
Claude 3.7被内部人员测验出了安全问题,但这次是外部人员测验出了Claude 4的安全隐患。
本月23日,,标志性地配了120页的「体系卡」文档和专门的「激活ASL3防护」陈述。
而早在Claude Opus 4发布当日,AI专家Gerard Sans就表明:Anthropic好像忽视了RLHF和提示的根底原理,对安全的着重是「精美的扮演」。
当模型在特定提示下展示「诈骗」等歹意行为时,证明的是引导文本生成的才能,而非AI出现的歹意。
翔实的文档、ASL3等级和「通用越狱」缝隙赏格,仅仅Anthropic营造出谨慎安全作业的表象。
把计算文本生成器视为具有独立歹意的意识体,是Anthropic方法论的精华。
Gerard Sans以为这是行为艺术,荒谬的安全扮演,而Anthropic应该抛弃这种戏剧化方法,转向真实的技能了解。
而Dario Amodei和奥特曼,无论是AI达观派仍是悲观派,都对AGI有着坚决的崇奉。