美国国家标准与技术研究院NIST最近发布了一款新的开源软件工具,旨在测试机器学习ML模型针对各种类型攻击的抗性。这个名为Dioptra 的工具于上周五正式发布,并伴随了一份新的AI指导文件,这标志着从总统乔拜登签署的关于安全、保障和可信赖的AI发展的行政命令以来的第270天。
Dioptra工具已在GitHub上发布,旨在满足行政命令中NIST协助AI模型测试的要求,同时也符合NIST的AI风险管理框架中的“测量”功能。
NIST的一位发言人表示:“Dioptra的开源开发始于2022年,但直到上周五,7月26日,它才进入了alpha‘预发布’状态。与alpha版本相比,新的关键特性包括一个新的基于网页的前端、用户身份验证和所有实验元素的源头追踪,这使得结果的可重复性和验证成为可能。”
NIST的以前研究识别了对机器学习算法的三种主要攻击类别:规避、污染和Oracle。
规避攻击:旨在通过操纵数据输入例如,添加噪声触发不准确的模型响应。污染攻击:通过更改训练数据来阻碍模型的准确性,导致错误关联。Oracle攻击:旨在“逆向工程”模型,以获取其训练数据集或参数的信息。最初构建Dioptra工具是为了测量对图像分类模型的攻击,但它也可以适应用于测试其他机器学习应用,如语音识别模型。
这个免费的平台使用户能够确定上述三类攻击对模型性能的影响程度,并可用于评估不同防御措施的有效性,如数据去噪或更强健的训练方法。
该开源测试平台采用模块化设计,支持用户对各种因素的不同组合进行实验,比如不同的模型、训练数据集、攻击策略和防御手段。
新发布的Dioptra 100版本提供了多项功能,以最大化其对第一方模型开发者、第二方模型用户或购买者、第三方模型测试者或审计员以及机器学习领域研究者的可及性。
在模块化架构设计和用户友好的网页界面之外,Dioptra 100还具有可扩展性,能够与Python插件互操作,以添加新功能。同时,Dioptra还提供了文档和演示,以帮助编程经验较少的用户熟悉Dioptra实验。
clash 苹果版该工具跟踪实验历史记录,包括输入和资源快照,支持可追溯和可重复的测试,能够揭示出帮助模型开发和防御更有效的洞见。
Dioptra可以在多租户环境中部署,以便在用户之间共享资源和组件,同时也能够在单一本地计算机上部署。
Dioptra与基于Unix的操作系统如Linux或MacOS兼容性最佳,实验通常需要大量计算资源,Dioptra结构已在配备4个图形处理单元GPU的NVIDIA DGX服务器上进行了正式测试。
“NIST计划继续收集用户反馈,以改善Dioptra
Keytronic 数据泄露事件与黑客攻击关键要点Keytronic承认其数据在网络攻击中被泄露。黑客组织 Black Basta 宣称已从 Keytronic 中提取530 GB的数据。数据泄露涉及公司财务、工程及人力资源等敏感信息。攻击事件影响了美国和墨西哥的运营,两周后恢复正常。美国著名的印刷...
雪花数据面临单因子认证攻击文章重点雪花数据报告称其客户遭遇了一场针对单因子认证的网络攻击。此次攻击涉及窃取前员工的凭证,影响了包括Ticketmaster的客户。黑客组织“ShinyHunters”声称窃取了大约6亿条帐户信息并索要赎金。建议用户启用双因子认证并小心钓鱼邮件。雪花数据公司Snowfl...