Meta 开源 LlamaFirewall 防护工具，助力构建安全 AI 智能体
创始人
2025-05-09 14:47:15
0次

IT之家 5 月 9 日消息，Meta AI 公司最新推出 LlamaFirewall，应对 AI 智能体不断演变的威胁格局，为生产环境中的 AI 智能体提供系统级安全保护。

随着大型语言模型（LLMs）嵌入 AI 智能体并被广泛应用于高权限场景，安全隐患随之增加。这些智能体可以读取邮件、生成代码、调用 API，一旦被恶意利用，后果不堪设想。

传统的安全机制，如聊天机器人内容审核或硬编码模型限制，已无法满足具备广泛能力的 AI 智能体需求。Meta AI 针对提示注入攻击、智能体行为与用户目标不一致、以及不安全的代码生成三大核心挑战，开发了 LlamaFirewall。

IT之家援引博文介绍，LlamaFirewall 采用分层框架，包含三个专门的防护模块：

  • PromptGuard 2 是一个基于 BERT 架构的分类器，能实时检测越狱行为和提示注入，支持多语言输入，其 86M 参数模型性能强劲，22M 轻量版本则适合低延迟部署。
  • AlignmentCheck 是一种实验性审计工具，通过分析智能体内部推理轨迹，确保行为与用户目标一致，特别擅长检测间接提示注入。
  • CodeShield 则是一个静态分析引擎，检查 LLM 生成代码中的不安全模式，支持多种编程语言，能在代码提交或执行前捕获 SQL 注入等常见漏洞。

Meta 在 AgentDojo 基准测试中评估了 LlamaFirewall，模拟了 97 个任务领域的提示注入攻击。

结果显示，PromptGuard 2（86M）将攻击成功率（ASR）从 17.6% 降至 7.5%，任务实用性损失极小；AlignmentCheck 进一步将 ASR 降至 2.9%；整体系统将 ASR 降低 90% 至 1.75%，实用性略降至 42.7%。CodeShield 在不安全代码数据集上也表现出色，精准度达 96%，召回率（recall） 79%，响应时间适合生产环境实时使用。

上一篇：泽普县市场监督管理局开展校园食堂食品安全检查

下一篇：原创 爱德华兹带伤20+9库里缺阵 勇士不敌森林狼总分1-1

相关内容

热门资讯

船员头部受伤 ，海事部门5分钟... 5月9日7点45分，宜昌枝江海事处接到求助电话，长江干线宜昌枝江段“鑫联**”船上一船员在调节空气分...
王力安防股价上涨1.30% 智... 截至2025年5月9日收盘，王力安防股价报8.58元，较前一交易日上涨1.30%。当日成交量为290...
茂名启动防汛Ⅳ级应急响应 5月9日11时，茂名启动防汛Ⅳ级应急响应。受北部强飑线向东南移动影响，茂名市大部地区迎来强对流天气。...
平安产险江西分公司：启动暴雨灾... 4月以来，江西省多地遭遇突发短时强降水、暴风、雷电等强对流天气。面对严峻的天气变化，平安产险江西分公...
青鸟消防股价小幅回落 券商研报... 截至2025年5月9日收盘，青鸟消防股价报11.30元，较前一交易日下跌0.79%。当日成交量为51...
湖北武汉：地铁上演生死时速！工... 5月7日晚上7：24左右，武汉地铁4号线七里庙站内，一起乘客突发呼吸困难的紧急事件牵动人心。最终，工...
苏州冠威取得自适应光防护热敏涂... 金融界2025年5月9日消息，国家知识产权局信息显示，苏州冠威热敏纸有限公司取得一项名为“一种自适应...
北京中科恒丰取得电力施工防护栏... 金融界2025年5月9日消息，国家知识产权局信息显示，北京中科恒丰能源有限公司取得一项名为“一种电力...
无锡市熠耀明臣智能科技申请建筑... 金融界2025年5月9日消息，国家知识产权局信息显示，无锡市熠耀明臣智能科技有限公司申请一项名为“一...
12天2次施手生死救援！女辅警... 2025年5月7日晚 石嘴山市公安局警务保障处 辅警梁迪在下班途中 英勇救助了两名交通事故伤者 用实...
江苏嘉锐取得带有线束防护结构的... 金融界2025年5月9日消息，国家知识产权局信息显示，江苏嘉锐信息科技有限公司取得一项名为“一种带有...
大足石刻景区上演暖心“救援” ... 5月9日，在重庆大足石刻宝顶山石刻景区内发生了一件暖心之事。一名来自山西的游客在临近景区出口的廊亭休...
安庆大观公安织密校园安全防护网 今年以来，大观公安分局立足实际、科学规划、主动出击，创新推行“九字三圈”工作法，消除校园周边安全隐患...
广西龙辰建筑工程有限公司取得港... 金融界2025年5月9日消息，国家知识产权局信息显示，广西龙辰建筑工程有限公司取得一项名为“一种港口...
广西壮族自治区钦州市委常委、副... 据广西壮族自治区纪委监委消息：广西壮族自治区钦州市委常委、副市长、一级巡视员钟恒钦涉嫌严重违纪违法，...
山西路桥申请桥梁施工用防护型吊... 金融界2025年5月9日消息，国家知识产权局信息显示，山西路桥第七工程有限公司申请一项名为“一种桥梁...
中建八局第一建设有限公司取得水... 金融界2025年5月9日消息，国家知识产权局信息显示，中建八局第一建设有限公司取得一项名为“一种水平...
大型城市综合体消防安全指南丨安... 大型城市综合体内该如何注意消防安全，来看今天的【安全一分钟】。大型城市综合体因建筑面积广、储货量多、...
【视频新闻】州安委会办公室发布...
雄安安全应急创新技术应用大赛初... 人民网北京5月9日电(记者夏晓伦)近日，以“汇聚未来安全应急技术 打造宜居韧性智慧城市”为主题的雄安...