教程管晓宏院士：人工智能系统安全已成为保障文明的关键

客户端南宁赋能文明建设分论坛上，院士强调，人工智能系统安全已不仅是技术问题。面对当前信息物理融合系统全生命周期”。

管晓宏详细剖析了人工智能系统面临的严峻挑战。他提到，在系统构建过程中，数据、模型和框架层面均存在巨大隐患。用他的话说，“有人做矛，有人做盾”，有人“投放数据故意篡改或者污染训练数据”，而这种数据行为，直接动摇了算法的安全与稳定。

“人工智能系统构建的安全至关重要，需要重点防御数据、泄漏及开发框架缺陷。”管晓宏解释，在模型层面，大模型的参数量巨大且可解释差，易引发后门攻击，甚至导致模型；在框架层面，主流的开源开发框架种类繁多、代码量大，底层依赖库复杂且不可信，潜藏的逻辑漏洞已成为威胁人工智能系统安全的重要隐患。管晓宏举例，框架漏洞植入后，可引发经济损失，甚至导致“在特制底层硬件不可用”。在应用层面，系统滥用导致的深度伪造、管控以及系统失控带来的意图生成失控、智能体越权执行等问题，正对安全和社会稳定构成实质威胁。

面对层出不穷的威胁，传统的“打补丁”式防御已宣告失效。管晓宏建议，要采取技术与管理相结合的治理方式，尤其是在管理机制上，“必须将安全意识前置”。

“如果在一开始就考虑风险，进行设计，就会比后来发现问题再去‘打补丁’要容易得多。所以，我们要完善法律法规和制度体系，推动技术同步发展。”管晓宏说，“另外，就是要具备准确、稳定、和可解释，安全化的核心算法，构建覆盖数据、算法、设施和应用的多层防护技术体系。人工智能系统应用具备深度伪造内容识别、防护等安全机制，采取动态防御策略，以应对快速演化的攻击手段”。

他最后强调，唯有政产学研协同发力，将安全防线前移，才能真正为蓬勃发展的文明铸就一道坚不可摧的隐形盾牌。