“以魔治魔”,解决大模型“幻觉”等安全问题
创始人
2024-07-06 16:42:14
0

中新网北京7月6日电(中新财经记者 吴涛)随着AI大模型的发展,新技术应用不断加码的同时,网络威胁也随之升级。提升安全防护能力,筑牢安全基线,成为发展数智技术的关键。

2024年7月2日至5日,2024全球数字经济大会在北京举行。中新网记者 吴涛 摄

在2024全球数字经济大会期间举办的多个分论坛上,不少嘉宾都提到了AI安全话题,要用“魔法打败魔法”,AI驱动提升网络安全攻防能力。不少网络安全产品一个重要指标便是“含AI量”。

AI衍生出新安全问题

据多位业内人士介绍,大模型发展的同时,也带来了非常复杂的安全问题,同时还降低了网络攻击的技术门槛,借助AI能力,攻击者越来越走向自动化、智能化和武器化,甚至造成安全防御的整体瘫痪。

赛迪顾问总裁助理高丹表示,涉及到的安全问题首先就是“幻觉”问题。“你问AI大模型一个问题,它可能说得清清楚楚,但其实都在瞎说,真假难辨”。

360数字安全集团总裁胡振泉表示,人工智能的算法可能存在数据投毒攻击、恶意样本攻击;生成式人工智能在对话交互的过程当中也可能存在数据非法获取、泄露和滥用等问题;还有很多利用人工智能制作虚假视频进行诈骗、敲诈勒索等非法活动。

清华大学长聘副教授张超表示,网络安全第一阶段是“人做攻防”,第二阶段是“机器攻防”。自2017年开始,已经进入第三阶段“智能攻防”,即用AI来做漏洞攻防相关研究,现在一些领先的安全企业已经强调用AI来做全自动攻防的机器人。

逆向利用大模型

该如何解决AI时代带来的安全问题?中国工程院院士沈昌祥在大会期间的分论坛上表示,数据安全治理需要做到全程管控,要实现首先让进攻者“进不去”,进去后“拿不到”数据,接着因为数据被加密“看不懂”,并且系统带有自动免疫功能,让进攻者“改不了”数据。

“大模型一个典型应用是信息缺失之后模型帮你补偿出来,比如文生图、文生视等。如果用在安全上呢?”张超表示,黑客针对目标软件,需要拿到一个目标软件漏洞然后攻击它,第一步就需要去理解它、分析它,这个地方叫逆向工程,因为没有源代码,可以使用一些AI软件把它逆向出来。

高丹认为,解决大模型“幻觉”等安全问题,首先要保证数据安全,数据不被泄露;第二数据源本身是干净的;第三要加强算法研究。从算法的角度来说,我们的算法能力越强,就能够减少相对的“幻觉”。

胡振泉认为,AI技术和数字安全的融合发展已经成为行业高度关注的课题,要用“以魔治魔”的理念,来解决人工智能面临的安全问题,也就是研发安全大模型,用人工智能来解决人工智能的安全问题。

沈昌祥还表示,不仅仅要做好预防,还要能在发现故障后及时采取措施确保稳定运行,保证设备“瘫不了”,最后还要确保行为可追溯“赖不掉”,因此我们还要打造安全可信的产业新生态,筑牢数字经济安全的基座。(完)

相关内容

热门资讯

上海农商行拒2万枚硬币兑换,警... 7月3日,上海市民陆先生携带约140斤(约2万枚)1角硬币至上海农商银行总行营业部办理兑换业务时,遭...
江西一中学因学生未填报北大清华... 近日,江西瑞昌市第一中学一老师因三名学生未填报北大清华,选择其他名校而解散班级微信群,网传聊天记录引...
女校长涉嫌诈骗数千万后跳江身亡... 7月7日,红星新闻记者从原告代理律师处获悉,29名原告起诉被告童某荣、财付通支付科技有限公司、广州网...
警惕!“丹娜丝”预计明天二次登... 据中央气象台消息 今天(7月7日)凌晨 今年第4号台风“丹娜丝” 在台湾嘉义县沿海登陆 预计“丹娜丝...
股票行情快报:青鸟消防(002... 证券之星消息,截至2025年7月7日收盘,青鸟消防(002960)报收于9.65元,下跌0.1%,换...
山西6市启动洪水防御IV级应急... 山西6市启动洪水防御Ⅳ级应急响应! 据气象部门预测,我省将迎来新一轮强降雨过程,根据省委省政府安排部...
持续高温,省应急厅对化工和危化... 近期,江苏全省持续高温,江苏省应急管理厅发布化工和危化品企业夏季高温安全提示,化工和危化品企业要认真...
百余头 “二师兄” 高温中暑!... “119 吗?快救救我的猪,它们快热死啦!”近日,崇明区消防救援支队东平消防救援站接到一通特别的求助...
中国电信中标结果:网络安全云防... 证券之星消息,根据天眼查APP信息整理,7月7日公布的《网络安全云防护服务成交公告》中显示中国电信股...
沭阳一娱乐场所无消防许可擅自营... 5月中旬,问政江苏以《宿迁沭阳:居民质疑影剧院未批先建存在安全隐患,相关部门无回应》为题,报道了沭阳...
天翼数字生活申请业务项目的依赖... 金融界2025年7月7日消息,国家知识产权局信息显示,天翼数字生活科技有限公司申请一项名为“业务项目...
疏勒:织密安全防护网 筑牢平安... 为切实保障广大群众生命财产安全,新疆疏勒县多部门协同发力,围绕防溺水、道路交通安全等重点领域,开展系...
烟台一高校多名学生热晕,一天来... 近日,山东烟台一高校多名学生热晕被送医,引发关注。 据报道,有学生称,“宿舍里大约有35度左右,比外...
浙南海域防台应急响应升至Ⅱ级 ... 记者从浙江海事局了解到,今年第4号台风“丹娜丝”今天(7日)7时移动至北纬25.7°东经121°,距...
记者谈国足0-2落后:对方3脚... 直播吧07月07日讯 东亚杯第1轮,中国男足vs韩国。朱辰杰冒顶,朱玟奎接传中头球破门,国足0-2落...
7月7日军工上涨0.43%,板... 7月7日,截至收盘,军工概念上涨0.43%,板块资金流出125210.75万。上涨个股家数272个,...
被特朗普长文炮轰后,马斯克援引... 在马斯克宣布建党参选,特朗普“破防”并在“真实社交”,马斯克也隔空回应了。当地时间7月6日,针对特朗...
河南启动重大气象灾害(强对流)... 据河南省气象局最新气象资料分析,预计7月7日13时至8日8时,黄河以北和三门峡、洛阳西部和北部、郑州...