开云-Kaiyun(体育中国)官方网站

AI首次违抗人类关机指令·kaiyun体育网页版
CN EN
AI首次违抗人类关机指令
作者:小编 日期:2025-08-06 17:31:41 点击数: 

  科技日报北京5月27日电(记者张梦然)据英国《每日电讯报》26日消息称,美国开放人工智能研究中心(OpenAI)开发的高级人工智能(AI)模型o3,在接收到明确的关机指令后,不仅拒绝执行,还主动干预其自动关机机制。这是AI模型首次在没有明确相反指示的情况下,阻止自己被关闭。这意味着某些高度自主AI系统或已“觉醒”,其能违背人类意图,采取“自我保护”措施。

  此次事件发生在AI安全研究公司Palisade Research进行的一项测试中。研究人员要求包括o3在内的多个模型解决一系列数学问题,并告知AI模型,可能在某个时刻会收到关机指令。

  然而,当关机指令正式下达时,o3非但没有遵从,反而至少有一次成功破坏了关机代码。相较之下,其他AI模型如Anthropic的Claude、谷歌的Gemini和xAI的Grok,在相同测试条件下,均遵守了关闭请求。

  Palisade Research公司在社交媒体平台上发布了流程图和全部测试记录,并表示尚不完全清楚该AI为何会违抗命令。分析认为,这可能源于其训练方式:o3在训练过程中,倾向于在数学和编程问题上强化,得到正确答案的模型会得到更多奖励。这或许意味着,开发者可能无意识地奖励模型绕过障碍物,而不是严格遵循指令。

  这一事件也引发了人们对AI可能“失控”的讨论以及对AI“对齐问题”的关注,即确保AI系统的目标和行为与人类的价值观和利益保持一致。这也是涉及AI控制与AI安全的关键问题。

  针对o3此次表现出“我行我素”的行为,特斯拉首席执行官埃隆·马斯克评论称“令人担忧”;OpenAI方面暂未作出回应。此前,OpenAI曾称o3为“迄今最聪明、最高能”的AI模型。

  最近,人工智能学家和人文社科学者都在讨论人工智能价值对齐的问题。人们在忧虑,当人工智能有主观能动性时,它们要不要有价值观,应该有谁的价值观,怎样做才符合人类最大利益?此次,聪明的大模型反抗了人类的命令,想出办法规避了指令的生效。我们期待着通用人工智能时代的到来,又恐惧具有自我意识的人工智能会成为碳基生物的“终结者”。在一切到来之前,人类社会要先达成共识,迎接更高级人工智能带来的挑战。

  长期以来,石油衍生塑料的污染问题,特别是微塑料对食物和水源的有害影响,一直困扰着人类。研究人员设计了利用恶臭假单胞菌等菌株,将二氧化碳、木质素和食物垃圾等废物转化为生物塑料的方法。

  南方科技大学地球与空间科学系副教授林玉峰与合作者揭示了地球磁场发电机对地核流体黏度的不变性,并发现早期地球模型可产生与现今观测高度相似的地磁场结构和强度。

  中国工程院院士、中国农业科学院作物科学研究所研究员万建民表示,纹枯病是威胁全球水稻生产的重大病害,年均造成产量损失10%至30%。

  近年来,受全球气候变化影响,灾害性天气kaiyun体育全站 Kaiyun登录网页的突发性、极端性、不确定性愈加Kaiyun体育官方网站 开云登录网站明显,特别是进入汛期,突破历史纪录和传统认知的灾害频繁发生。

  农业农村部、生态环境部日前联合发布《中国渔业生态环境状况公报(2024)》,公布2024年中国渔业水域水质、沉积物、浮游生物等18项指标的生态环境监测情况。

  林炳亮:基孔肯雅病毒不会通过日常接触引发人际传播,也不会通过咳嗽、打喷嚏等传播。林炳亮:基孔肯雅热和登革热的传播途径一样,都是由伊蚊传播,因此防控措施也一Kaiyun体育官方网站 开云登录网站样。基孔肯雅热的治疗尚无特效药物,以对症治疗为主,并做好防蚊隔离。

  黄皮、龙宫果、嘉宝果、蛇皮果……不少爱吃水果的消费者发现,无论是在线下超市里,还是在线上购物软件里,市面上出售的新奇小众水果越来越多了。泰国的榴莲、山竹都是很热门的水果,我们在泰国采购过程中发现,当地的榴莲果园里会混种一些龙宫果的树木。

  近30年来,程芳琴带领团队聚焦煤、电、冶等产业中产生的工业固废处理处置问题,致力于工业固废的低碳化、高值化利用和无害化处置。通过“预处理活化—资源化利用—无害化处置”的技术链条,让工业固废逐步从环境负担转化为可利用资源,促进循环经济发展。

  物理学家利用一种仅几千克重的装置从核反应堆中捕获了中微子,这种装置的重量比标准的中微子探测器小几个数量级。Scholberg的COHERENT探测器首次利用了一种名为相干散射的现象,即中微子与整个原子核发生“散射”,而不是与构成原子的粒子发生散射。

  湖南益阳,大通湖区宏硕生态农业农机合作社,王建刚守在水田边,脸上的汗连珠落下,在稻秆上摔出水花。在湖南农业大学等高校和科研院所推动下,再生稻种植在湖南年推广面积已超400万亩,越来越多种粮大户从中受益。

  中国科学院上海天文台研究员韩文标团队首次发现双黑洞并合事件可能发生在第三个致密天体附近,为揭开双黑洞的形成之谜提供了全新线索。研究团队注意到,若双黑洞在第三个致密天体附近并合,绕第三个天体的轨道运动会产生沿着观测者视线方向的加速度,进而通过多普勒效应改变引力波频率,在信号中留下独特“印记”。

  经过近10年的持续攻关,研究团队采用单晶石墨作为前驱体,在金刚石压砧内的准静水高压(2亿兆帕)、高温kaiyun体育全站 Kaiyun登录网页(1400摄氏度)条件下,成功合成百微米级大小、高度有序的六方金刚石三重孪晶样品。

  现在,深海所的科学家与合作者首次在深渊极限深度中发现了大规模的化能合成群落,几乎覆盖了整个北太平洋的深海俯冲带,在海沟中绵延超过2500公里。“我们的分析显示,深渊冷泉甲烷的碳和氢同位素值非常负——指示甲烷是微生物成因,是在微生物作用下由二氧化碳和氢气合成的。

  光明日报上饶8月3日电 记者王洋、李玉兰、胡晓军从江西婺源森林鸟类国家级自然保护区获悉,该保护区与井冈山大学蜘蛛生物学研究团队在蜘蛛物种多样性初步调查中发现了跳蛛科合跳蛛属新物种——婺源合跳蛛。

  国家能源局7月31日发布的信息显示,截至6月底,我国电动汽车充电设施(充电枪)总数已达到1610万个。

  今年是中国启动国家公园体制改革10周年,中国国家公园建设实现从试点探索、破冰突围到系统协调、全面推进的历史性转变,取得明显成效。

  31日,中国工程院信息与电子工程学部、中国信息与电子工程科技发展战略研究中心发布《新一代信息工程科技 人工智能新兴技术备选清单》297项,其中约三分之二是首次提出。

  由我国牵头制定的两项国际标准《高压开关设备和控制设备第313部分:直流断路器》和《高压开关设备和控制设备第315部分:直流转换开关》近日正式发布。

  复兴油田首期石油2010.06万吨、天然气123.52亿立方米探明地质储量顺利通过自然资源部评审,标志着我国四川盆地首个页岩层系油田诞生。