普华永道：解码生成式AI引发的安全风险与挑战！AI

生成式AI产品浪潮对企业安全的影响

ChatGPT等一众生成式AI产品，预期将把企业员工从繁琐的、重复性的任务中解放出来，员工可以将更多时间和精力投入到对企业更有价值的工作中。然而，从企业安全的角度来看，生成式AI产品有可能引入新的风险，对企业来说是一把双刃剑。

01

网络攻击威胁加剧

生成式AI降低了黑客的进入障碍。黑客可以利用生成式AI快速整合各种网络攻击方式，便捷地将攻击方式“武器化”，并且有可能实现攻击方式创新。普华永道网络安全团队明显观察到，近几个月客户收到的网络钓鱼邮件等社会工程学攻击显著增长，适逢ChatGPT被广泛使用；ChatGPT也被发现用于批量生成更具有迷惑性的钓鱼网站。

02

企业敏感数据泄露

安全专家们对企业敏感数据可能的泄露产生了顾虑，员工不当的输入行为可能导致敏感数据留存在生成式AI产品的数据库。OpenAI的隐私政策显示，用户在使用ChatGPT时输入的内容将被用于训练其AI算法模型。再者，ChatGPT曾经被曝出遇到严重的安全问题，由于开源库中的漏洞，部分用户能够看到其他用户的对话历史记录的标题。目前亚马逊、微软等多家科技巨头已提醒员工，不要向ChatGPT分享敏感数据。

03

生成式AI投毒风险

培训数据投毒是生成式AI面临的常见安全威胁，恶意数据对AI算法的结果会产生不良影响。如果运营管理中大量依赖生成式AI，在关键问题上可能会做出错误的决策。另一方面，生成式AI也有潜在的“偏见”问题。类似于由多位知名专家学者参与的“给AI的100瓶毒药”活动，企业开发或运用AI的过程中，应有策略地对AI投毒威胁进行积极应对。

04

隐私保护问题

生成式AI预训练阶段需要大量收集和挖掘数据，其中可能包括不少客户和员工的隐私信息。如果生成式AI不能妥善保护和匿名化这些隐私信息，可能导致隐私泄露，这些隐私信息甚至可能会被滥用于分析和推测用户行为。例如，手机应用市场充斥着图像生成软件，用户只需要上传自己的多幅头像，软件就可以生成不同场景和题材的合成照片。但软件公司怎样利用这些用户上传的头像，是否会带来隐私保护和其他安全风险，值得关注和应对。

05

企业安全合规风险

在缺乏有效的管理措施之前，生成式AI产品的大量采用或将导致安全合规问题，对企业安全管理人员来说无疑是巨大的挑战。由网信办审议通过并经国家发改委、教育部等六部门同意的《生成式人工智能服务管理暂行办法》已于日前公布，将于8月15日起正式施行1 2。从技术发展与治理、服务规范、监督检查和法律责任等角度提出了基本要求，为生成式AI的采用建立了基本的合规框架。

了解现实世界中的生成式AI安全威胁场景

在了解了生成式AI引入的安全风险之后，下文将在更具体的安全威胁场景中分析问题是如何产生的，并探究生成式AI对企业安全产生了哪些潜移默化的影响。

01

社会工程学的攻击

世界知名黑客凯文·米特尼克曾经说过：“安全链中最薄弱的环节是人员因素”。社会工程学黑客惯用的伎俩就是利用花言巧语去诱骗企业员工，而生成式AI的出现则大幅度助长了社会工程学攻击行为。生成式AI可以生成高度逼真的伪造内容，包括假新闻、虚假的社交媒体帖子、欺诈性邮件等。这些伪造内容可能会误导用户，传播虚假信息，或欺骗企业员工做出错误的决策。生成式AI甚至可以用于合成声音或视频，使其看起来像是真实的，这可能被用于进行诈骗或伪造证据。包头市公安局电信网络犯罪侦查局发布一起使用智能AI技术进行电信诈骗的案件，犯罪分子通过AI换脸技术在10分钟内骗走430万元。

02

员工无意识的违规

不少科技厂商已经开始积极布局生成式AI赛道，将大量生成式AI功能集成到产品和服务中。员工可能在使用之前并没有仔细阅读用户使用条款，无意中使用了生成式AI产品。企业员工在使用生成式AI时，可能会输入包含敏感信息的内容，如财务数据、项目资料，公司机密等，这可能导致企业敏感信息的泄露。要防范生成式AI对企业敏感信息的泄露，企业需要采取综合的安全措施：包括增强数据泄露保护技术，对员工的上网行为进行限制；同时需要对员工进行安全培训，提高数据安全和保密警惕性等。一旦发现员工的违规行为，企业需要立即评估影响并进行及时的处置。

03

必然的歧视与偏见

生成式AI之所以可能存在歧视与偏见，主要是由于其训练数据和模型设计的特点。来自于互联网的训练数据反映了现实世界中的偏见，包括种族、性别、文化、宗教和社会地位等方面。在训练数据的处理过程中，可能没有足够的筛选和清洗措施来排除带有偏见的数据。同样，在生成式AI的模型设计和算法选择中，可能没有足够的注意力放在减少偏见方面。算法模型在学习过程中会捕捉到训练数据中的偏见，导致生成的文本也带有类似的偏见。虽然消除生成式AI的偏见和歧视是一个复杂的挑战，但是企业可以采取一些措施来帮助减轻这些歧视与偏见3。

04

对隐私保护的妥协

在使用生成式AI产品的过程中，为了追求高效的自动化和个性化服务，企业和个人可能会在隐私保护方面进行一些妥协，允许生成式AI对部分隐私数据进行收集。除了用户在使用过程中将个人隐私内容透露给生成式AI，生成式AI还可能分析用户输入的内容，通过算法来推测用户的个人信息、偏好或行为，进一步侵犯用户的隐私。数据脱敏和匿名化是一种常见隐私保护措施，但是可能会导致数据的部分信息丢失，从而降低了生成模型的准确性，个人隐私保护和生成内容质量需要找到一个平衡点。作为生成式AI提供商，应当向用户提供透明的隐私政策说明，告知他们数据的收集、使用和共享情况，让用户能够做出知情的决策。

05

监管合规的大趋势

就目前来看，生成式AI面临的法律合规风险主要来自于“内容违法违规”和“知识产权侵权”等方面。在疏于监管的情况下，生成式AI可能会生成违法或不当的内容，可能涉及侮辱、诽谤、色情、暴力等不合法或违规的元素；另一方面，生成式AI可能会基于已有的受版权保护的内容进行学习，这可能导致知识产权侵权。使用生成式AI的企业必须进行合规性审查，以确保其应用符合相关法规和标准，避免不必要的法律风险。企业首先应评估是使用的产品否符合《生成式人工智能服务管理暂行办法》的各项规定，同时需要密切关注相关法规的更新和变化，并及时进行调整以确保合规性。企业在与供应商或合作伙伴使用生成式AI时，需要明确各方的权利和责任，并在合同中规定相应的义务和限制。

个人和企业如何积极主动应对生成式AI的风险与挑战

个人使用者，企业员工需要认识到，在享受生成式AI带来的各种便利的同时，仍需对自身个人隐私等敏感信息加强保护。

01

避免个人隐私泄露

在使用生成式AI产品之前，员工应当确保服务提供商会合理保障用户的隐私安全，仔细阅读隐私政策和用户条款，尽可能选择经过公众验证的可靠提供商。在使用过程中尽量避免输入个人隐私数据，在不需要真实身份信息的场景下使用虚拟身份或者匿名信息，任何可能的敏感数据都需要在输入前进行模糊化处理。在互联网上，尤其是社交媒体和公共论坛，员工应当避免过度分享个人信息，如姓名、地址、电话号码等，不轻易将信息暴露在可公开访问的网站及内容之中。

02

避免生成内容误导

由于生成式AI的技术原理限制，其结果内容不可避免存有误导或偏见，行业专家也在不断研究如何避免数据投毒风险。对于重要的信息，员工应当从多个独立和可信的来源进行验证，如果同一信息只出现在一个地方，可能需要更多调查来确认其真实性。寻找结果中所陈述的信息是否有确凿的证据支持，如果缺乏实质性的依据，可能需要对该信息持怀疑态度。辨别生成式AI的误导和偏见需要用户保持批判性思维，不断提升自己的数字素养，了解如何安全地使用其产品和服务。

相对于个人使用者开放的态度，企业对于生成式AI更多还在观望当中，生成式AI的引入对于企业来说是机遇也是挑战。企业需要进行全局的风险考虑，提前进行一些应对性战略部署，普华永道建议企业可以考虑从以下几个方面着手开始相关的工作。

01

企业网络安全评估明确防御短板

企业面临的首要挑战仍然是如何抵御生成式AI带来的次世代网络攻击。对于企业而言当务之急是评估当前的网络安全状态，明确企业是否具备足够的安全检测和防御能力来应对这些攻击，识别潜在的网络安全防御脆弱性，并采取相应的加固措施来积极应对。为了实现上述目标，普华永道网络安全团队建议企业基于这些真实的网络攻击威胁场景进行攻防对抗演练，即网络安全“红蓝对抗”。从不同攻击场景中提前发现可能存在的网络安全防御短板，全面系统地修补防御缺陷，以此保护企业的IT资产和数据安全。

02

部署企业内部生成式AI测试环境

要想要了解生成式AI的技术原理，更好地对生成式AI模型产生的结果进行把控，企业可以考虑在内部建立自己的生成式AI沙箱测试环境，从而可以防止不可控的生成式AI产品对企业数据的潜在威胁。通过在隔离环境中进行测试，企业可以确保准确及没有固有偏见的数据能用于AI开发、更能放心地探索和评估模型的表现，而无需担心敏感数据泄露风险。隔离的测试环境也可以避免数据投毒和其他针对生成式AI的外部攻击，保持生成式AI模型的稳定性。

03

建立针对生成式AI的风险管理策略

企业应尽早将生成式AI纳入风险管理的目标范围，对风险管理框架和策略进行针对进行补充和修改。对使用生成式AI的业务场景进行风险评估，识别潜在的风险和安全漏洞，制定相应的风险规划，明确应对措施和责任分配。设立严格的访问管理制度，确保只有授权的人员可以访问和使用经过企业允许的生成式AI产品。同时应规范用户的使用行为，对企业员工进行针对生成式AI风险管理的培训，增强员工的安全意识和应对能力。企业家在研发生成式AI应用亦应采用隐私设计（Privacy by design）的方法，让最终用户清楚他们提供的数据将如何使用以及将保留哪些数据。

04

组建专门的生成式AI研究工作组

企业可以在组织内部集结专业知识和技能，共同探索生成式AI技术的潜在机会和风险，邀请了解相关领域的成员参与工作组，包括数据治理专家、AI模型专家、业务领域专家、法律合规专家等。企业管理层应确保工作组成员能够访问所需的数据和资源，以便他们进行探索和实验，同时鼓励工作组成员在测试环境中进行实验和验证，以便更好地了解生成式AI的潜在机会和业务应用场景以取得应用先进科技的好处又能平衡当中风险。

结语

生成式AI的发展和应用正在对科技产生重大的冲击，这可能引发新的生产力革命。生成式AI是一种强大的技术，它结合了深度学习、自然语言处理和大数据等领域的进步，使计算机系统能够生成人类语言的内容。企业和员工应该对这种强大的技术进行掌控，确保它的发展和应用在法律、道德和社会责任的框架内进行，这将是未来一段时间面临重要的课题。普华永道AI专家团队致力于研究如何帮助企业建立完备的生成式AI管理机制4，让企业能够更加安心地应用和开拓这一新兴的技术，这将有助于企业加入到AI技术的浪潮中来，让生成式AI为企业提供持续的竞争优势。

注释

1. 生成式人工智能服务管理暂行办法_国务院部门文件_中国政府网

https://www.gov.cn/zhengce/zhengceku/202307/content_6891752.htm

2. 创新与治理：解读生成式人工智能的最新监管动向

https://www.pwccn.com/zh/industries/telecommunications-media-and-technology/publications/the-latest-regulatory-trends-in-artificial-intelligence-apr2023.html

3. Understanding algorithmic bias and how to build trust in AI

https://www.pwc.com/us/en/tech-effect/ai-analytics/algorithmic-bias-and-trust-in-ai.html、

4. Managing generative AI risks: PwC

https://www.pwc.com/us/en/tech-effect/ai-analytics/managing-generative-ai-risks.html