软件分类 游戏分类 资讯分类

原创OpenAI部署“控制室”系统:35秒内可叫停失控AI智能体

编辑:pcsoft资讯 时间:2026-11-16 17:10:52

      11月10日消息,OpenAI今天宣布,公司已在内部研究设施中部署“控制室”系统,用于停止可能存在风险的AI任务,可在35秒内“叫停”失控的AI智能体。

      一、接入中央服务,由系统决定任务能否继续输出

      据介绍,这套系统将智能体训练、评估和数据处理任务等负载接入中央服务,然后由系统负责决定任务能否继续输出。

      二、主动阻止请求,最长延迟35秒

      这套系统与负责标记可疑行为的传统监控不同,它可以主动阻止风险研究任务进一步请求输出。当研究员启用某一项任务时,需要向控制室请求唯一任务ID。然后该标识符会附加到发送给推理引擎的请求中。接着引擎会咨询控制室,确认相关任务是否可以运行。

      如果研究员或监控系统下令停止指示,控制室服务就会拒绝下一次推理请求,让推理引擎不再为任务声称任何模型输出。OpenAI表示,这套系统从收到停止指令,到阻止任务进一步继续的最长延迟为35秒。这种延迟源于推理授权请求的缓存层,公司正努力将延迟缩短至0.

      三、集成自动化监控,实时检查前沿任务

      该系统还具备自动化监控机制集成。OpenAI透露,所有前沿强化学习任务都会配备独立的模型监控器,用于检查模型行为,并在发现潜在问题时发出警报。

热门推荐

相关文章