人工智能在商业中的重大影响与风险管理

关键要点

• 人工智能（AI）正在迅速改变商业环境，影响各行各业。
• 企业在使用AI时面临技术、声誉、合规和操作等多方面的风险。
• 组织必须加强对AI输出安全性的信任，确保其安全运营。
• 风险管理应建立在最佳实践之上，包括跨团队协作、威胁建模和持续监控。

人工智能（AI）正在迅速重塑商业世界，带来跨行业、跨公司范围的深刻变化。如今，几乎每个商业领域都受到这项技术的影响，而且这种影响持续增长。

然而，在所有机遇的背后，使用AI也伴随着相当大的风险。这些风险包括技术、声誉、监管和运营等方面的问题，可能导致供应链漏洞的利用，系统停机，凭证和个人信息被盗，无法遵守法律法规，以及品牌信任度下降。

随着我们对这些系统的依赖加深，企业和IT领导者——特别是首席信息官（CIO）、首席信息安全官（CISO）、首席技术官（CTO）和首席数据官（CDO）——必须增强他们对AI输出安全性的信任，同时确保其以维护强大安全态势的方式运行。

避免高风险商业

根据国际律师事务所BakerMcKenzie的一项调查，虽然76%的部署AI的公司已经建立了风险管理政策和程序，但仅有24%的高管认为这些政策“有些有效”。更重要的是，关于AI的风险也存在误解，仅有52%的人认为这些风险是相对显著的。

我将AI风险分为了四个核心领域：

风险类型 | 描述
—|—
技术风险 | 包含AI/ML生命周期和供应链中的技术问题和漏洞。例如，流行的开源工具MLFlow曾遭受地方文件包含/远程文件包含攻击，可能导致系统完全接管。研究显示，超过80%的分析、大数据和AI工作负载在其供应链中包含开源软件资产。许多这些资产是从Hugging Face等库中下载的机器学习模型。在使用前很少进行扫描，导致这些模型容易受到攻击。
操作风险 | 随着AI和ML的演变和应用的增加，组织可能过于依赖这些工具，特别是在自动化任务中。如果缺乏足够的监督和控制，系统可能会表现得不可预测、不准确或干脆失败。可能导致的后果从小问题到灾难性故障不等，例如出现意外的生产错误、显著的停机时间甚至被指控歧视。
合规风险 | 政府机构和监管者正在加强对AI和ML的监管。欧盟制定了《欧盟人工智能法》，加拿大发布了《人工智能和数据法》，而拜登总统发布了关于AI的行政命令。这意味着，AI及其安全的监管即将到来。组织必须评估AI和ML在监管结构中的适应性，并采取适当措施以减轻合规风险。
声誉风险 | 组织的声誉通常是逐渐建立的，但也可能瞬间消失。当企业在客户面对的工作流程中依赖AI时，失败可能会导致品牌信任度的下降。例如，某金融机构如果使用了不当的机器人顾问，可能向投资者提供错误的信息，或在管理股票组合时出现失误，随之而来的媒体或社交网络的关注可能严重削弱客户信任，损害品牌形象。

降低风险的措施

降低风险的最佳实践包括以下几项重要原则：

• 将安全整合进：在MLOps生命周期中整合安全，类似于安全在DevOps中的应用。这需要在AI/ML生命周期中的所有阶段，包括早期开发、部署和持续使用时，设置安全接触点——包括监测和测试。
• 促进跨团队合作 ：鼓励安全、机器学习团队及人力资源、法律等相关部门之间的协作。这有助于全面了解AI应用以及其对组织的全面影响。
• 引入威胁建模 ：利用威胁建模练习早期识别AI/ML系统中的漏洞，以便团队可以在使用前进行全面测试。这一实践有助于识别风险，并提供