1. AI大模型催化，网络安全产业机会与挑战并存

—— “安全”、“AI安全”与“安全的AI”同等重要

网络安全威胁日益加剧。随着互联网应用普及化，所对应的网络威胁数目随之上升，而且其复杂性也相对增加，对网络安全带来了巨大挑战。如今移动设备、物联网、云计算在企业中的应用日益普及，攻击面也相对增加。此外，黑客可以利用人工智能来不断变形病毒/恶意软件，而传统的静态防御解决方案未必能对此有效检测以及阻断。另外，网络攻击服务化（Cyberattack-as-a-Service）令网络攻击变得普及，攻击者自身不须拥有强大的黑客知识亦可以通过支付加密货币获得攻击工具。

人工智能在网络安全方面的作用是帮助组织降低入侵风险，并改善其整体安全状况。人工智能通过从过去的数据中学习来识别模式和趋势，然后这些信息被用来预测未来的袭击。人工智能驱动的系统还可以配置为自动响应威胁，并在更快的时间内对抗网络威胁。随着企业攻击面不断发展和演变，时而必须处理多达数千亿的时变信号以正确地计算风险。为了应对这一前所未有的挑战，神经网络等人工智能工具和方法不断发展，以更有效和高效的威胁检测和威胁消除功能，帮助信息安全团队保护敏感信息、降低入侵风险、降低安全运营成本、改善安全态势。再者，随着大模型潮流兴起，网络安全的产品能力、平台运营能力以及安全服务都有望迎来全面的优化升级。

虽然AI及大模型能够有效赋能网络安全产业，但AI大模型本身的安全保证也十分重要。在此方面，既要能应对利用大模型等AI技术进行网络攻击的风险，又要保证大模型本身的安全性。要考虑前者的原因是，大模型降低了黑客代码和攻击策略设计的门槛，使得攻击成本降低。要考虑后者的原因是，大模型本身的对齐、可解释性等问题使得其应用存在一定隐患。

OpenAI对安全构建AI系统尤为重视。2023年4月6日，OpenAI官方发布了《Our approach to AI safety》文章，探讨了如何安全地构建、部署和使用人工智能系统的六大策略。Sam Altman在北京智源人工智能大会上，也主要强调了AGI安全的重要性。AGI未来将在诸多领域超越人类智慧，正因如此，AGI风险空前高涨，若没有控制和约束AGI，AGI可能会往人类无法预测的方向发展，对人类生活造成严重威胁。

综上，新技术浪潮下的网络安全产业需要考虑四重安全。第一步是做好传统网络安全防护，第二类是用人工智能相关算法或大模型对网络安全产品进行增强，以及对服务的优化赋能。该阶段要保证AI大模型赋能网安的过程中，AI系统和网络安全产品的集成能有效融合。第三，要保证大模型输出的AI能力的原生安全（在当前对齐、可解释性等问题尚未有效解决的前提下，也至少要保证安全风险不能被AI放大）。最后，大模型本身的安全防护也十分重要，因为其作为AI能力输出的基石，本身的安全稳定有着根本性支撑作用。

——网络安全与人工智能技术结合具备天然优势

要弄清楚AI在网络安全领域中的作用，首先要回顾下网络安全产品本身的构建思路。网络安全的构建思路以红蓝对抗为角度，即根据黑客攻击的时间顺序来进行对应的防护。首先要进行最大化收敛互联网上的暴露面，第二步是对边界的防护，也就是根据暴露内容部署相应的安全问题防护以加固边界，接着要进行区域控制，即监控手段建设，最后一步是做强控。整个过程按照事前、事中和事后来建设网络安全。

态势感知平台是AI技术应用的重要场景之一。面对越来越专业的恶意攻击，已无法再用传统的边界隔离理念、日渐臃肿的攻击特征库与黑客多变的渗透技术、隐蔽的信道相抗衡了。因此，通过态势感知平台调动各类单点网络安全产品来形成安全合力十分有效，因为本质上讲，网络安全就是发生在虚拟世界的攻防战，速度为王，而态势感知平台的作用就是分析安全环境信息、快速判断当前及未来形势，以作出正确响应。这个过程本就是人工智能的智能研判、决策分析的用武之地。例如，对于基于SIEM的态势感知平台，通过自身的日志解析、处理与分析来展示安全威胁与事件，利用关联分析、威胁情报、机器学习算法来降低安全告警数量与误报，融合资产、漏洞等上下文信息对网络安全整体态势进行可视化展示。

为应对海量的告警以及高级持续性威胁（APT），网络安全运营团队也需要人工智能和机器学习来提高效率。人工智能在安全运营中的其中一大作用是协助安全分析师的工作，毕竟它不太可能完全取代有经验的人类。反之，人工智能可以专注于比人类擅长的领域去协助人类，如分析大数据、替人类进行繁琐且重复的任务，以便分析师能够发挥更复杂的技能，如创造力、细微差别和专业知识。例如，采用无监督ML算法的用户行为分析工具（User behavior Analytics, UBA）可以持续监测和分析用户活动、系统安全变化、网络流量和对应用程序和数据的访问检测和标记异常情况，使得该威胁对环境造成破坏之前，企业可以把未知的威胁更快地转化为已知的威胁。因此，网络安全运营团队在AI工具协助下，可以采取更积极的策略，对事件作出相应反应。并且在事件响应方面，相对于人工处理，基于人工智能的安全工具一旦发现威胁就可以对其自动作出反应。

——大模型对网络安全产业的供给侧和需求侧带来巨大变化

大语言模型技术的广泛应用，能够赋能网络安全产业的诸多环节，甚至可能对部分环节带来颠覆性的改变。以GPT为代表的大模型的本质是理解语言意图并根据意图进行任务分配，从而实现对话、计算、制图等能力，具有语言体系且流程性工作的占比较大的工作环节能被大模型所赋能。同时，出于工程落地难度及性价比考虑，大模型更适合用于规模较大、所需人工较多的环节。

从网络安全厂商供给能力来看，大模型的语义理解及代码生成等能力可以有效赋能安全产品及服务。网安的日志为计算机领域的语言体系，GPT在Github中预训练之后，对于日志的理解具有天然优势。同时，安全运营涉及大量流程性工作，部分环节人力需求较多，而大模型的应用有望在安全运营中心（SOC）场景中降低安全服务人员的数量，实现降本增效。例如在用户行为分析（UEBA）方面，传统的SIEM是基于特征和规则进行分析，而用户行为超越了规则和相关性，可通过大模型的赋能研究攻击者行为模式，从而更加有效地检测内部威胁、针对性攻击和欺骗；又例如，在攻击者可以加密数据之前，SIEM可能会检测到勒索软件的警报并在受影响的系统上自动执行应对操作，大模型的代码生成能力可以提升系统的自动响应能力。

需求侧方面，大模型被用于攻击而催生出新的安全需求。例如，据Darktrace发现，自ChatGPT发布，网络钓鱼电子邮件的平均语言复杂度上升了17%。钓鱼邮件数量显著上升且语言复杂度快速上升的情形下，邮件安全领域正在发生变革——从“安全”电子邮件网关转为智能AI方法，只有深入了解每个员工的日常互动，才能准确确定电子邮件是否归属其收件箱。另外，虽然直接要求ChatGPT生成攻击代码是大模型所拒绝的，但这一规则并非无法绕过，通过对生成恶意代码的要求进行修饰，可以规避ChatGPT的安全措施，达到曲线实现生成恶意代码的目的，更为严重的是恶意人员无需任何编程经验就能够通过ChatGPT编写恶意软件。

在大模型时代，无论ChatGPT还是Google的PaLM，都以API的方式交付其能力，必将导致API安全需求的井喷。大模型爆火前， API在物联网、微服务、云原生等场景加速应用。Salt Security发布的《State of API Security Report, Q1 2023》报告指出，94%的受访企业在过去一年中遇到过生产系统中的API安全问题，且与六个月前相比API攻击活动数量增加了400%，GPT的现象级火爆必然是背后的原因之一。GPT引爆的AI大模型带来的API安全需求或将成为2023年甚至AI大模型时代长期的安全重点。对于LLM的API使用者来说，API安全供应商可以让企业管理者对内部的API使用情况保持可见性，并尽可能避免经过身份验证的、无法防范的API使用威胁。

——大模型输出的AI能力要有原生的安全性

虽然大模型能够带来网络安全性能的较大飞跃，但也要考虑大模型所输出的AI能力的安全性。大模型输出能力的安全性，即“安全的AI”，在其产业应用过程中跟传统网络安全防护同等重要，本质上是因为AI大模型作为一个工具，应当帮助人们而不是取代人们或对人类社会造成伤害。基于安全的大模型，其对传统网络安全的赋能的有效性才能得到充分保证。

“安全的AI”（AI Safety）思想是致力于构建安全的大模型，模型安全需要重点考虑三大因素。AI Safety的具体内容包括：与人类意图对齐（Alignment）、可解释性（Interpreferability）、鲁棒性（Robustness）。其中，对齐（Alignment）要求AI系统的目标要和人类的价值观与利益相保持一致，但AI对齐的实现也存在三方面挑战，一是选择合适的价值观，二是将价值观编码到AI系统中，三是选择合适的训练数据；可解释性是指对模型内部机制的理解以及对模型结果的理解；鲁棒性可以理解为模型对数据变化的容忍度。

要保证大模型输出能力的安全性，模型发布前的严格测试以及实践中的模型改善是基本要求。发布前的严格测试包括聘请外部专家进行反馈，通过RLHF等技术来改善模型的行为，建立广泛的安全和监控系统。例如，在最新模型GPT-4完成训练后，花了6个多月的时间在整个组织中工作，以使其在公开发布之前更安全、更一致；在实践中改善模型方面，例如行业标兵OpenAI将谨慎地逐步发布新的AI系统，并在吸取经验教训后不断改进，通过提供API和最强大的模型，使开发者能将技术直接应用于程序中，这有助于监测滥用情况并采取行动，建立缓解措施以应对实际滥用方式，而非仅停留在理论层面。

要从本质上保证大模型输出的AI能力的安全，就要首先明确大模型系统全生命周期的机理。构建大模型的生命周期一般可以分为五个阶段：数据收集、数据预处理、模型训练、模型推理和系统集成。每个阶段都容易受到不同的安全威胁。其中，在数据收集阶段，针对硬件采集的代表性攻击方式是通过访问或篡改传感器提供的数据来进行传感器欺骗攻击（sensor spoofing attacks）；而针对软件采集的方式会产生数据偏差、虚假数据、数据泄露等安全风险；在预处理阶段容易受到图像缩放攻击；在模型训练阶段，AI大模型最容易受到的攻击类型是投毒攻击；推理阶段常常出现的攻击方式是对抗攻击。以上前四个阶段的安全保障是大模型能力安全的主要着力点。

数据防泄漏（DLP）是企业客户目前绝对的头号安全需求。三星半导体工厂的员工在将源代码输入ChatGPT以识别和消除错误并优化程序的同时，也无意中通过GPT向公众泄露了机密的生产数据，另一名三星员工使用AI聊天机器人总结会议记录，导致该会议记录被泄露。上述数据泄漏事件只是冰山一角，根据CYBERHAVEN在3月21日发布的调查，8.2%的员工在工作场合使用过ChatGPT，6.5%的员工曾经将公司数据粘贴进去过，3.1%的员工曾经将公司敏感数据喂给过ChatGPT，而敏感数据占员工粘贴总数据的11%。

基于人类反馈机制，可以一定程度上保证大模型数据源的安全、隐私性以及准确性。在训练模型中，可以通过在最大可行情况下删除训练数据集中的个人信息，并且调整模型以拒绝对私人个人信息的请求，从而响应个人从其数据集中删除其个人信息的要求。这些步骤可以最大限度地减少模型可能生成包含个人信息的响应的可能性。又例如，OpenAI通过利用用户对被标记为不正确的ChatGPT输出的反馈作为主要数据来源，提高了GPT-4的事实准确性，从而GPT-4产生真实内容的可能性比GPT-3.5高40%。

——大模型本身的安全防护也同等重要

在AI大模型的系统集成阶段，情况就变得更加复杂。人工智能应用的系统集成不仅涉及人工智能技术本身的安全风险，还涉及车载系统、网络、软件、硬件的结合点问题，这些威胁包括AI数据和模型的机密性、代码漏洞、人工智能偏见等。因此，针对大模型使用过程中的隐患点，海外已经出现了专注于大模型的防火墙公司。Arthur Sheild是首个用于大语言模型的防火墙，帮助公司更快、更安全地部署ChatGPT等大模型应用程序，保障模型部署和运行安全。Arthur Sheild能力可以包括：防止PII或敏感数据泄露、防止有毒的且攻击性的或有问题的语言生成、防止幻觉、用户恶意提示以及防止恶意注入。

2.AI网络安全市场高速增长，海外巨头布局迅速

全球AI网络安全的投资呈现高速增长态势。物联网的日益普及、对数据保护的担忧不断增加以及网络攻防对抗持续升级等因素推动着AI在网络安全行业的发展，越来越多的网络安全厂商加大对AI安全市场的投资力度，抢占“AI+安全”制高点。MarketsAndMarkets调研数据显示，2023年AI在网络安全市场规模为224亿美元，预计到2028年将达到606亿美元，CAGR为21.9%，同时，MarketsAndMarkets认为在预测期内，北美将占据AI网络安全市场最大份额。

海外头部安全厂商也持续加码AI相关产品应用。IBM Security Qradar Suite产品嵌入AI和自动化，加快了安全团队对攻击链每个步骤的响应速度；CrowdStrike公司与Cribl联合推出CrowdStream，旨在提供更加快捷和准确的网络安全数据采集与分析；Fortinet打造的FortiXDR是首款利用AI进行事件调查响应的解决方案，可以完全自动化完成通常由经验丰富的安全分析人员处理的安全运营流程，因而能够跨广泛的攻击面更快速地缓解威胁。

3.国内厂商AI能力积淀已久，大模型方向纷纷加码

——奇安信：把握AI新机遇，深入探索网络安全蓝海

把握新技术浪潮，推出最贴合市场的新产品和新服务。针对生成式人工智能（AIGC）技术，公司结合“内生安全”理念，利用多年以来的海量安全大数据和知识积累，积极训练专有的类ChatGPT安全大模型，计划在安全产品开发、威胁检测、漏洞挖掘、安全运营及自动化、攻防对抗、反病毒、威胁情报分析和运营、涉网犯罪分析等领域实现广泛应用。奇安信在AI技术赋能安全方向成果颇丰，其研究成果广泛应用于公司产品中，在数据挖掘、异常检测、复杂网络分析中都成功使用了深度学习和机器学习技术。

携手生态伙伴，助力我国人工智能开源生态新局面。2022年，奇安信获批建设“软件安全国家新一代人工智能开放创新平台”。平台的目标是解决海量复杂软件的安全问题，持续研究基于人工智能快速发现软件安全问题的方法，以夯实我国数字经济的基础。截至2022年，奇安信拥有187项网络安全领域的人工智能相关专利，是目前拥有最多相关专利的网络安全企业。这些专利技术，将在软件安全国家新一代开放创新平台的建设过程中发挥重要作用。2023年2月24日，奇安信与新一代人工智能开源开放平台——OpenI启智社区也正式牵手。此次合作，奇安信将助力OpenI启智社区为软件开发用户、软件应用用户及安全分析用户提供代码智能安全检测服务、风险智能判别及处置服务、安全智能分析算法的训练服务。

——深信服：AI布局前瞻，大模型领域先发优势显著

坚持AI First理念，以AI技术研究及应用赋能云产品升级。公司采用“AI First”理念构建云全产品体系，超融合、托管云服务、桌面云、存储和数据库管理均需用到AI技术。基于该新推出的全新产品体系架构，可以全面提升性能、可靠性、安全和运维管理方面的能力，并把这个能力称为AFOPS、AIRUN 和AISEC。AISEC保证上云即安全；AIRUN 使得客户使用云的时候更加方便、有效、快捷；AIOPS 使得使用云的时候维护能力提高，自动化的水平提高，而不再需要更多的人力。

深信服的AIOps天工引擎是AI技术的关键应用。AIOps天工智能运维引擎是国内首创的O2O场景下的智能运维引擎，作用于云计算业务，全生命周期覆盖了150+的运维场景，可以做到7-30天提前预测、1分钟及时发现、3分钟快速定位的核心能力。基于深信服独有的O2O数据，完成了各类AI算法的研发与适配，表现为预测、分析、处置三大能力。

AIOps天工引擎利用小样本学习技术，仅依赖少量高质量的数据即可以实现较高的算法准确率。基于迁移学习技术，利用云端的海量数据以及充足的算力构建AI模型，该模型在线下场景中依然能发挥较好的推理效果。AIOps天工已经可以利用多模态的数据融合分析，可以将弱信号进行关联，并且可以将弱信号进行充分挖掘，实现可靠性以及事件提前预测和预防。AIOps天工引擎还可以从结构化以及非结构化数据中生成运维图谱，这个运维图谱可以具备上下文的理解能力，可以帮助运维人员非常充分的理解它的资源场景且及时发现并修复问题，并且还提供了统一编排的优化建议，来帮助运维人员去解决可靠性事件，比如事件生成、智能调度以及处置建议等。

安全GPT + XDR引领行业新趋势。2023年5月18日，深信服发布了其自研安全大模型。据深信服强调，安全GPT是完全自主可控的，不依赖开源模型服务（但架构于开源大模型之上），由深信服自主训练，训练数据部署在深信服托管云上，实现数据不出境。安全GPT赋能XDR后，在高级威胁检测、安全监测调查、热门漏洞排查等安全运营工作中表现出色。首先是实现了准确率的提高，通过前期5000万样本数据测试，相较传统检测引擎，赋能安全GPT技术的深信服XDR高级威胁检测率高达95.7%，误报率（安全告警里判错的比例）仅4.3%；其次是效率提高，运营人员花费3-6小时才能完成的安全监测调查工作，由安全GPT来完成只需5-10分钟，几番简单的对话就可以快速有效完成任务。

——天融信：AI与产品深度融合，竞争力持续提升

创新融入AI，持续增强产品核心竞争力。天融信在AI安全领域布局较早，且早在2019年与IDC联合发布了国内首个《融入人工智能的下一代防火墙》白皮书。公司主要运用AI技术进行威胁情报分析、网络应用分类、未知威胁检测等，并已实际应用于公司产品，已发布的产品有防火墙、入侵防御、僵木蠕、沙箱、大数据分析、态势感知、EDR、数据防泄漏等。2022年订阅收入3.13亿元，其中至少一半来源AI生产的知识。同时，公司自2020年开始部署和使用类大模型，目前已训练出用于安全服务的基础模型，同时正在训练用于非核心模块（例如自动化测试）的代码自动编写模型，提升开发效率。

——绿盟科技：打造AI实验室，加码GPT智能应用

积极探索以AISecOps、SecXOps和安全知识图谱为代表的新型AI技术。公司于2016年成立了八大实验室，其中天枢实验室专注于AI方向的研究，积累深厚，目前已取得多项研究成果，包括：发布了安全知识图谱，推出了AI SecXOps概念和产品，以及与高校研究机构合作发布了白皮书等。公司高度重视以ChatGPT、GPT-4.0为代表性的大语言模型对安全产业的影响力，开展了对安全攻防、安全运营、GPT内容识别等领域类GPT技术的研究；凭借长期积淀的攻防知识、运营数据与威胁情报，将在2023年第三季度发布基于类GPT技术的智能安全服务机器人，旨在把大模型能力用到代码安全、安全运营效率提升、安全分析研判准确度提升等方面。

——安恒信息：数据安全体系完备，AI赋能下优势凸显

安恒的大数据及数据安全相关产品广泛使用了AI技术，产品力逐年提升。数据安全是安恒的重大战略方向，而数据安全与人工智能也具有天然的结合性，公司常年来的产品打磨中均有效利用了AI技术优势，产品力持续提升，尤其体现在AiSort数据安全分级、AiMask数据脱敏、AiGate数据安全网关、AiThink行为分析以及AiTrust零信任等产品体系中。

基于强化学习的人工智能模型已经在安恒信息AiSort数据安全分级产品中部署应用。产品基于AI算法实现对敏感数据准确高效识别，系统支持对用户数据资产进行漏洞评估、安全风险评估，帮助用户从多个维度感知数据资产安全状况。AiSort内置了融合法律法规、行业标准等领域知识的预训练模型，同时支持模型有监督训练。用户利用有标签的数据源对模型进行训练，学习数据的特征与类别级别之间的内在关联，可预测出其它类似数据源的分类分级结果。产品在交互中接收人工反馈，引入强化学习RLHF来微调预训练的分类分级模型，在模型给出的候选分类分级结果中选择最优结果，通过奖励惩罚机制使模型不断优化自身，训练出一个分类分级领域适合客户的专有AI模型。

安恒MSS平台积淀的大量数据为后期智能应用的铺开奠定坚实基础。在云环境下，依托安恒信息MSS（托管安全服务）平台积累的大量数据，利用强化学习训练模型和人工反馈不断调试优化，开发运营反馈模块，针对告警排查过程中的各种日志证据，进行录入上报，从而利用大模型学习到其中的模式并自动的生成告警规则，在降低误报的同时也可以对新产生的攻击方式和手法自动生成检测规则；另外，基于所积累的数据，安恒已经训练了初步的模型来构建智能客服问答系统，并在公司内部开始试用。

——启明星辰：“盘小古”助力AI安全研发运营一体化

人工智能赋能安全一直是启明星辰重点探索的方向。公司自主研发的人工智能安全建模和赋能平台，被威胁检测、安全大数据分析、威胁情报、UEBA 等多个产品广泛采用，全面提升了安全数据治理、安全模型构建、模型安全检测、模型推理赋能等能力，实现了基于ModelOps和AIOps的人工智能应用快速搭建、模型全生命周期管理和多重赋能，助力流量检测技术、威胁检测技术等实现智能化，推动公司网络安全产品向自动化、智能化进阶。

启明星辰于2022年发布了“PanguBot(盘小古)”安全智慧生命体。公司基于人工智能技术的智能化安全运营解决方案，构筑了以全生命周期人工智能安全服务、运营（AISecOps）为目标的AI安全研发运营一体化平台。“PanguBot”由启明星辰盘古人工智能平台提供模型运行算力和环境，以Chat为窗口，应用基于安全运营专用语料库训练的自然语言模型，能够接收文字、语音、图片、视频等方式的信息输入，通过文字和图片的形式向用户反馈，并能够整合各种运营工具，实现安全分析处置自动化，此成为启明星辰智能化安全运营的有力支撑。