近期，国防科技大学计算机学院在漏洞管理领域取得新进展。团队面向企业和国家重点部门对高效漏洞管理的迫切需求，针对有限漏洞修复资源和不断增加漏洞数量的突出矛盾，开展了漏洞优先级技术研究，一项最新工作“基于指针网络和深度强化学习的漏洞优先级方法”被第13届EAI数字取证与网络犯罪国际会议ICDF2C 2022接收，该方法实现了对漏洞修复资源的优化配置和实时推荐漏洞优先级方案，突破了传统优化方法的性能瓶颈，能够适应大规模网络和系统风险动态变化。

ICDF2C是中国计算机学会推荐的网络与信息安全C类国际会议。

题目

VPnet: A Vulnerability Prioritization Approach Using Pointer Network and Deep Reinforcement Learning

作者

Zhoushi Sheng, Bo Yu,Chen Liang, Yongyi Zhang

主要内容

随着信息技术蓬勃发展，互联网资产数量与类型不断丰富，与此同时网络攻击面不断扩展，漏洞数量爆发式增长，如何确定漏洞优先级成为了高效漏洞管理的关键。然而传统的漏洞管理主要依靠主观的专家意见、静态的漏洞严重性评分确定漏洞优先级，这样的方式既缺乏聚焦真正的安全风险，也缺少对有限漏洞修复资源的优化配置，导致大量资源被消耗却没有带来相应的安全效益。如何在有限的修复资源条件下最大化降低系统整体风险，并且适应大规模场景和安全风险的动态变化成为亟待解决的关键问题。

国防科技大学计算机学院的硕士研究生盛周石、梁晨、张永毅等人在国防科技大学研究员钟求喜、副研究员喻波的联合指导下，应用人工智能技术，提出了一种基于指针网络和深度强化学习的漏洞优先级方法–VPnet。如图1所示，VPnet首先对目标系统中的漏洞风险和修复成本进行了量化估计，并将这些特征转化为标准的输入矩阵，其中漏洞风险通过结合严重性、威胁、影响和资产重要性等因素进行量化，修复成本则根据修复建议的难易程度对漏洞所需修复时间进行估计；然后设计了一种指针网络作为漏洞优先级方案的求解器，并提出了一种结合模仿学习与自主学习的深度强化学习算法来训练该网络模型参数。与传统优化算法相比，VPnet将运算负担转移到了线下的训练阶段，而在应用部署时能够实现实时推荐。

图1 VPnet的系统架构图

指针网络是VPnet的核心，其结构如图2所示，该网络由编码器和解码器两个子网络组成：在编码器网络中，主要通过嵌入层和基于长短记忆单元（LSTM）的循环神经网络对所有的漏洞信息进行编码；在解码器网络中，同样采取循环神经网络进行解码，其关键是利用了指向机制依次优先选择漏洞进行修复，直到超出漏洞修复的总时间约束。指向机制在原理上是利用softmax函数计算出所有候选漏洞的概率分布，然后依概率选择漏洞进行修复。

图2 指针网络结构图

团队设置了不同规模的模拟场景和一个实际的测试场景对VPnet进行测试，实验结果显示，在不同规模的场景下，VPnet能够在5秒钟内推荐出接近最优的解决方案，与最优结果的比率值均超过了95.8%；在一个实际的测试场景中，VPnet从候选的53个漏洞中推荐了9漏洞需优先修补，生成的方案相比于优化前在降低总体风险方面提升了22.8%，且时间消耗仅需1.2秒。表明VPnet能够实现对漏洞修复资源的优化配置，且能够适应不同规模场景和风险动态变化的需求。

图3 不同场景下模型的性能表现

表1 测试场景的关键指标数据

来源：ipasslab