WIC系列发布|人工智能框架漏洞威胁感知系统

关键词：大会热点

2022-12-05 09:39:25

AI框架可以帮助开发者高效、快速地构建网络模型进行训练和推理，而无需关心底层实现的细节，它具有高效、便捷的特性，已被工业界和学术界广泛采用，且越来越多的开发者加入到AI应用研发的行列。

但在便捷高效的表象之下，人工智能框架也存在许多问题与风险，因此框架安全研究近年来逐渐引起业界重视。但如今人工智能安全研究的关注点较为局限，且框架安全检测仍依赖于传统漏洞挖掘技术（如模糊测试等）发现，并严重依赖人工分析。针对以上问题，天津智慧城市数字安全研究院进行了大量研究，最终自主研发了人工智能框架漏洞威胁感知系统AIFater，并在第六届世界智能大会上做出成果展示。

本系统包含针对云端框架的安全性检测单元QSand以及针对终端框架的安全性检测单元FBFuzz。两款单元模块可以全面覆盖主流的人工智能框架，如Tensorflow、PyTorch等。此外，人工智能框架漏洞感知系统中内置丰富的定制化漏洞检测规则，可以高效地对已知攻击做出准确判断，为人工智能的安全性提供了有力的保障。

本系统对谷歌Tensorflow、MetaPytorch等国内外多家厂商的主流人工智能框架开展了安全测评，发现漏洞180余个，团队帮助各厂商对漏洞进行了修复，并获得了各个厂商的致谢。其中发现谷歌Tensorflow框架漏洞上百个，包括严重漏洞6个、高危漏洞27个、中危漏洞42个。系统能够高效、并发、精确地发现框架中存在的未知安全风险，对AI框架安全研究有重大意义。