OpenAI成立新的安全委员会,对AI安全的关注点转向了吗?
创始人
2024-05-31 06:07:16
0

OpenAI关于安全治理的舆论风波迎来新进展,“超级智能对齐”团队解散后,近日OpenAI宣布成立了一个新的安全委员会。该委员会由OpenAI CEO萨姆·奥尔特曼(Sam Altman)等人领导,并宣布公司已经开始训练下一个前沿模型。OpenAI在当天发布的一份声明中表示,该安全委员会将就项目和运营的关键安全决策向董事会提供建议。

从公开的信息看, 新安全委员会的职责与此前OpenAI解散的“超级智能对齐”团队不完全一致。投行D.A.Davidson分析师Gil Luria表示,新的安全委员会标志着OpenAI完成了从一个不明确的非营利实体向商业实体的转变, 这应该有助于简化产品开发,同时保持问责制。

此前OpenAI成立“超级智能对齐团队”曾引发关于AGI(通用人工智能)是否已经实现、是否符合人类价值观的讨论。

除此之外,目前业界关心的另一大话题是AI训练和应用是否会引发新的安全问题,如数据泄露、网络安全攻击等。OpenAI的安全团队经历更迭,关注点或许也已发生转向。

安全团队调整告一段落

OpenAI安全团队的调整早已开始。

上一次备受关注的事件是OpenAI联合创始人兼首席科学家伊利亚·苏茨克沃(Ilya Sutskever)离职。当地时间5月14日,苏茨克沃宣布将离开OpenAI。外界关心的是,苏茨克沃离开后,其负责的OpenAI“超级智能对齐”团队是否依然“安好”。不久后,OpenAI证实“超级智能对齐”团队已解散。

“超级智能对齐”团队有特殊职责。该团队去年7月成立,致力于研究防止AI系统异常的技术解决方案,对齐的意思是要求AI系统的目标要和人类价值观与利益相一致。基于苏茨克沃本人在公开发言中对安全的强调,以及去年11月他参与了OpenAI董事会对奥尔特曼的解雇行动,人们对OpenAI是否已经实现AGI多有猜测,甚至猜测OpenAI对于相关事项有所隐瞒、苏茨克沃与奥尔特曼之间存在嫌隙。

外界认为OpenAI隐瞒了大模型最新进展的证据是,苏茨克沃去年10月在一次采访中提到,ChatGPT可能有意识,世界需要清醒认识到他的公司和其他公司正在创造的技术的真正力量。有人猜测苏茨克沃看到了AGI。在今年3月的一次对谈中,奥尔特曼澄清,他和苏茨克沃都没见过AGI,并表示苏茨克沃不会考虑一年内会发生什么, 而是考虑十年后会发生什么。

无论如何,OpenAI新的安全委员会的成员和责任与“超级智能对齐”团队不完全一样。OpenAI在相关公告中表示,公司构建和发布在能力和安全性上行业领先的模型并为此感到自豪,但仍欢迎在这个重要时刻进行激烈辩论。新的安全委员会将在未来90天内评估和进一步完善OpenAI的流程和保障措施,90天后与全体委员分享建议,董事会审查后将公开分享最新情况。

除奥尔特曼,该安全委员会人员还包括OpenAI董事会成员Bret Taylor(布莱特·泰勒)、Adam D’Angelo(亚当·德安杰罗)、Nicole Seligman(尼克·塞利格曼),以及首席科学家Jakub Pachocki(雅各布·帕乔奇)、OpenAI早期筹备团队的Aleksander Madry(亚历山大·马德里)等,均为OpenAI内部成员。OpenAI还承诺将聘请第三方安全、安保和技术专家来支持委员会工作。

业内在关注什么?

解散“超级智能对齐”团队并成立新安全委员会,OpenAI可能是有多种考虑。

外界认为,OpenAI内部对AI的发展有两种态度,保守派强调安全和OpenAI的基本价值观,苏茨克沃是保守派代表人物,另有一派更强调加快发展和商业化,奥尔特曼是这一派代表人物。除了苏茨克沃对安全问题的考虑长远且谨慎、外界认为他与奥尔特曼加快商业化的思路存在分歧,“超级智能对齐”团队此前占用OpenAI资源还颇多。

OpenAI曾表示,将在4年内向该“超级智能对齐”团队投入20%计算资源。而此次宣布新安全委员会成立的公告中,OpenAI未提及将向该委员会投入的资源。

从资源分配的角度,若减少安全团队的投入,OpenAI便可以更关注商业化。OpenAI已在加快商业化,近期的春季更新发布会上,OpenAI推出适用苹果macOS的桌面应用。近日还有消息称,苹果与OpenAI达成协议, 将在今年的iOS 18系统中引入一系列生成式AI功能。鉴于OpenAI已在商业化上逐步推进,一名互联网厂商AI相关负责人向记者分析, 苏茨克沃离职的相关变动对OpenAI的商业化方向应该不会有太大影响。

包括OpenAI在内,近期业内对大模型应用落地给予了更多关注。在安全问题上,业内讨论更多的则是法律法规制定以及AI训练和应用时可能引发的具体安全问题。今年5月,欧盟理事会正式批准《人工智能法案》,作为全球首部AI领域全面监管的法规,该法案采取“风险分级”监管模式,对不同级别风险设置相应合规要求,涉及版权保护、数据和隐私保护等。

国内多家大模型厂商则关注大模型训练和应用中的数据泄露等问题。

近日接受第一财经等媒体采访时,腾讯云安全总经理李滨表示,大模型安全涉及模型本体安全、内容安全、数据安全和应用安全多个方面。模型本身涉及数据合规性和人工智能道德准则,模型预训练和微调、用户输入输出过程中涉及高价值数据、交互数据,呈现较复杂的数据安全问题,大模型应用中还需有安全控制机制,以控制内容输出。另有安全专家告诉记者,需关注的安全问题还包括恶意大模型网络犯罪、诈骗,以及语料库非法获取、训练数据不合适导致输出文本呈现偏见、数据存储环节数据泄露、恶意内容生成风险。

业界相关尝试包括此前火山引擎推出大模型平台火山方舟,针对数据泄露等风险,该平台上线了基于安全沙箱的大模型安全互信计算方案,利用计算隔离等方式保障模型机密性和完整性。360集团、中国电信则推出相关安全大模型,以大模型技术应对AI治理相关风险。

相关内容

热门资讯

原创 哈... 据报道,近期,据多家外媒报道,伊朗最高领袖哈梅内伊发表强硬声明,誓言强力打击以色列,绝不妥协,引发全...
广西:把高速应急车道当停车场?... 应急车道是生命通道 非紧急情况下禁止随意占用 但一些驾驶人贪图方便 竟把车停在应急车道上 处理工作上...
启动应急预案!四川知名景区发生... 6月21日17时10分许,四川甘孜州稻城亚丁景区内,“金刚挑战线”舍身崖区域发生垮塌。山石夹杂着泥土...
佛山消防携手美团开展实战演练:... 2025年6月20日,为进一步提升群众消防安全意识和应急自救能力,佛山消防联合美团在美团歪马送酒物流...
6060:78,俄乌遗体交换比... 据环球网近期报道,俄罗斯总统助理梅金斯基称,俄乌完成遗体交换,俄方向乌移交6060具乌士兵遗体,乌方...
上海闵行通报:七宝镇沿街商铺店... 6月22日12时03分,七宝镇青年路248号附近沿街商铺店招店牌发生脱落,涉及5间店铺,无人员受困受...
伤了?于汉超下半场替补登场仅1... 直播吧06月22日讯 足协杯1/8决赛,上海海港vs上海申花。比赛第80分钟,替补登场的于汉超被换下...
印尼总统:不搞双重标准,俄罗斯... 【印度尼西亚总统苏比安托表示,俄罗斯与中国是不奉行双重标准的国家,两国始终在为正义而战。】 苏比安托...
苏州发布:张韶涵演唱会结束昆山... 直播吧06月22日讯 据“苏州发布”报道,昨日张韶涵昆山演唱会结束后,工作人员连夜拆除舞台,为接下来...
8人被困厦门浪漫海岸线红树林淤... ▲游客被困海边。图据厦门曙光救援队 6月21日晚,福建厦门同安区浪漫海岸线景区,7大1小共计8人被困...
首次!伊朗向以色列发射“破坏力... 编辑丨高语阳 据伊朗迈赫尔通讯社报道, 在当地时间6月22日早上对以色列的新一轮导弹袭击中,伊朗首...
看图学习丨“三夏”时节丰收忙 ... 强国必先强农,农强方能国强。 丰收,是农民的希望,也是习近平总书记深深的牵挂。在春耕春播、夏收夏种、...
转存收藏!洪涝防护指南 暴雨天,受地质灾害、山洪影响,临水临崖、低洼地带的居民要提起注意,备好沙袋防洪,应避险转移的立即听从...
海南重点项目举办防台风防汛应急... 图为演练现场。主办方供图 中新网海南新闻6月21日电(郭海莉 张坤)眼下海南省已进入主汛期与台风季。...
比顶流“苏超”火药味更浓的,是... 原标题:赞助顶流苏超,还得是“江苏孩子”? 文|阿狸 编|园长 上个周末,全国人民蹲在直播间观看一场...
深圳一车主1月内5次占用应急车... 快科技6月22日消息,高速上私家车违规占用应急车道的现象屡见不鲜,究其原因还是违法成本太低,如果各地...
中央纪委周末“打虎”!涉嫌严重... 编辑丨高语阳 6月22日,中央纪委国家监委网站消息,国家中医药管理局原局长于文明涉嫌严重职务违法,...