安永：在全民與人工智能對話的時代，數據安全面臨哪些挑戰？

引言

人工智能的高速發展及應用，使我們正在步入人工智能驅動的時代。大數據是人工智能技術研發和落地的基礎，隨著數據在各場景中被收集和利用，數據安全和隱私保護面臨著巨大的風險與挑戰。

本文將對數據安全風險群體及場景進行分析，并結合數據安全及隱私保護相關的法規要求及行業最佳實踐，從管理和技術兩個層面分享我們的觀點與建議。

一 誰在面臨人工智能帶來的數據安全挑戰？

（一）學生

人工智能技術已成熟的應用到了學生的日常學習中，在線課程門戶Study.com對1000名美國大學生進行了調查，調查結果顯示美國大學約89%的學生使用智能對話機器人完成作業，53%的學生使用其撰寫論文，48%的學生使用其完成考試。為了避免學生過于依賴此類工具，防止作弊，多個國家的學校已經開始禁止學生使用。

（二）企業員工

隨著人工智能技術在企業的應用與普及，企業的涉密人員正在成為數據安全風險的主要群體，與智能對話機器人分享的機密信息可能被用于未來人工智能模型的迭代訓練，這將可能會導致該模型輸出的內容可能包含機密信息，例如用戶隱私數據、企業機密數據等，從而造成敏感數據泄漏的風險。

?2022年11月，某國際大型電子商務公司律師就警告員工不要與智能對話機器人分享機密數據，因為這將會被其用來作為迭代訓練的數據。

?2023年1月，新一代人工智能對話機器人母公司一名員工在內部論壇上詢問是否可以用智能對話機器人工作時，其首席技術官辦公室的一位高級程序員回復，只要不與其分享機密信息，是可以被允許的。

二 人工智能帶來了哪些數據安全風險？

（一）隱私合規風險

目前智能對話機器人的使用條款尚不明確，其中雖然會提示用戶將收集使用過程中的信息，但并沒有說明收集信息的具體用途；雖然承諾刪除所有個人身份信息，但未說明刪除方式。這將會為人工智能企業帶來合規風險，同時為用戶帶來個人信息泄露或濫用的風險。

例如根據GDPR第17條，個人有權要求刪除其個人數據，即“被遺忘權”或“刪除權”。然而事實上，在用戶要求時從訓練模型中完全刪除數據是很難做到的。并且考慮成本問題，人工智能企業也不太可能每次在用戶要求刪除某些敏感數據后重新訓練整個模型。因此人工智能獲取到的數據，被訓練成了模型就如同黑箱一般存在，自動化的過程難以完全刪除痕跡。

（二）個人信息泄漏

1、用戶使用場景：用戶與智能對話機器人交互過程中，可能會提供個人敏感信息，包括姓名、電話、地址等，還可能包括用戶的心理狀態、偏好等其他個人信息。收集到的個人信息可能以實名或匿名的形式，流向模型的開發者、數據標注團隊。這些數據有可能沒有進行人工過濾及標注，并在輸出時可能包含這些個人信息，從而使其他用戶可能獲得這些數據。

2、模型訓練場景：用戶和智能對話機器人的所有交互數據都會被記錄、分析。通過我們向機器人的不斷提問和機器人的不斷輸出，它們會得到充分的訓練，會更加全面地了解用戶，這將會引發不法分子對用戶信息買賣的風險，從而實現精準營銷的商業目的。

（三）編寫惡意軟件

根據美國OpenAI的評估，智能對話機器人通常只有37%的機率會給出正確代碼。除了存在無法運行的Bug外，基于AI編寫的代碼可能引入漏洞。相關人員通過研究智能對話機器人在89個場景中生成的代碼，發現有40%的代碼存在漏洞。如下圖中生成的Python代碼，由于將參數直接拼接進SQL語句中，會導致存在SQL注入的風險。

目前已經有犯罪集團提供惡意軟件服務，攻擊者借助人工智能帶有漏洞的代碼發起網絡攻擊可能會變得更容易。人工智能的代碼漏洞將賦予甚至經驗不足的攻擊者編寫更準確的惡意軟件代碼的能力，將加速惡意軟件的開發。

（四）數據源投毒

模型訓練的數據通常來源于公開獲取的內容，如果數據源被攻擊者控制，并且在數據標注時未能識別，攻擊者可能通過在數據源中添加惡意數據，從而干擾模型結果。對于數據源較為單一的場景，投毒的可能性更高。

（五）網絡釣魚

攻擊者可借助ChatGPT（美國OpenAI研發的大型預訓練語言模型）等生成式AI技術輕松繞過安全控制，并生成以假亂真的網絡釣魚電子郵件，而無需任何編碼知識和犯罪經驗。攻擊者能有效地將普通釣魚的數量與魚叉式網絡釣魚的高收益結合起來。普通網絡釣魚的規模很大，以電子郵件、短信和社交媒體帖子的形式發送數百萬個誘餌。但這類通用的形式，容易被發現，因此回報較低。魚叉式網絡釣魚利用社會工程，創建具有更高回報的具有針對性的定制化誘餌，但因需要大量的人工投入，因而數量較少。借助ChatGPT生成網絡誘餌，攻擊者就可以實現事半功倍的效果。

三 該如何利用人工智能這把雙刃劍？

人工智能實現了科技的革新，同時也引發了上述數據安全風險。企業應該如何在利用人工智能技術的同時降低數據安全風險是值得思考的問題，接下來的內容將從管理和技術兩個層面提出我們的觀點與建議。

（一）管理層面

1、法律法規的落實：在《網絡安全法》《數據安全法》《個人信息保護法》的法律法規要求下，應關注并落實人工智能算法領域的法律法規及行業標準的延伸，尤其是針對境內提供類似對話服務的人工智能企業應強化數據安全和個人信息濫用情況的監管，避免利用真實個人信息數據進行模型訓練而造成的個人信息泄露、濫用等情形。

2、監管要求的探索：生成式人工智能技術及產品的監管必須將算法監管和數據監管結合起來。在算法監管機制的未來探索中，應充分考慮算法決策的主體類型和作用類別，并探索場景化和精細化的算法治理機制。

3、數據分類分級：通過定義不同類型的數據以確定各類數據的保護級別和保護措施。對所有信息資產，包括硬件資產、軟件資產和數據資產等進行全面梳理，為進一步對敏感數據分析、數據保護措施的制定、數據泄露風險監測做好基礎準備。

（二）技術層面

1.反惡意軟件：利用技術工具，例如使用自動化監控、沙盒、行為分析等技術或攻擊，抵御各種高級惡意軟件。

2.代碼漏洞檢測：黑客經常利用編寫不當的代碼來尋找漏洞，可能會導致系統崩潰或泄漏數據，NLP/NLC算法可能會發現這些可利用的缺陷并生成警報。

3.釣魚郵件檢測：通過研究智能機器人編寫釣魚郵件的語言模型與規律，分析傳入的外部電子郵件和消息的文本，從而檢測出新的網絡釣魚嘗試。

4.網絡威脅情報：可將人工智能語言模型用作分析，從各種社交媒體等數據源來分析并識別潛在的網絡威脅，并了解攻擊者使用的戰術、技術及程序。

5.自動事件響應：通過對網絡威脅情報的識別，可以使用它進行自動響應，例如阻止IP地址或關閉服務等。