En

WIC系列发布|人工智能框架漏洞威胁感知系统

2022-12-05 大会热点

AI框架可以帮助开发者高效、快速地构建网络模型进行训练和推理,而无需关心底层实现的细节,它具有高效、便捷的特性,已被工业界和学术界广泛采用,且越来越多的开发者加入到AI应用研发的行列。

但在便捷高效的表象之下,人工智能框架也存在许多问题与风险,因此框架安全研究近年来逐渐引起业界重视。但如今人工智能安全研究的关注点较为局限,且框架安全检测仍依赖于传统漏洞挖掘技术(如模糊测试等)发现,并严重依赖人工分析。针对以上问题,天津智慧城市数字安全研究院进行了大量研究,最终自主研发了人工智能框架漏洞威胁感知系统AIFater,并在第六届世界智能大会上做出成果展示。

本系统包含针对云端框架的安全性检测单元QSand以及针对终端框架的安全性检测单元FBFuzz。两款单元模块可以全面覆盖主流的人工智能框架,如Tensorflow、PyTorch等。此外,人工智能框架漏洞感知系统中内置丰富的定制化漏洞检测规则,可以高效地对已知攻击做出准确判断,为人工智能的安全性提供了有力的保障。

本系统对谷歌Tensorflow、MetaPytorch等国内外多家厂商的主流人工智能框架开展了安全测评,发现漏洞180余个,团队帮助各厂商对漏洞进行了修复,并获得了各个厂商的致谢。其中发现谷歌Tensorflow框架漏洞上百个,包括严重漏洞6个、高危漏洞27个、中危漏洞42个。系统能够高效、并发、精确地发现框架中存在的未知安全风险,对AI框架安全研究有重大意义。

来源:世界智能大会组委会秘书处