<u id="miyiy"></u>
  1. <tr id="miyiy"><label id="miyiy"></label></tr>

    普華永道:解碼生成式AI引發的安全風險與挑戰| 觀點與方案

    佚名 來自: 普華永道 2023-10-10

    普華永道:解碼生成式AI引發的安全風險與挑戰

    ChatGPT等一眾生成式AI產品,預期將把企業員工從繁瑣的、重復性的任務中解放出來,員工可以將更多時間和精力投入到對企業更有價值的工作中。然而,從企業安全的角度來看,生成式AI產品有可能引入新的風險,對企業來說是一把雙刃劍。

    ChatGPT等一眾生成式AI產品,預期將把企業員工從繁瑣的、重復性的任務中解放出來,員工可以將更多時間和精力投入到對企業更有價值的工作中。然而,從企業安全的角度來看,生成式AI產品有可能引入新的風險,對企業來說是一把雙刃劍。

    1696898107127055.jpg

    生成式AI產品浪潮對企業安全的影響

    1. 網絡攻擊威脅加劇

    生成式AI降低了黑客的進入障礙。黑客可以利用生成式AI快速整合各種網絡攻擊方式,便捷地將攻擊方式“武器化”,并且有可能實現攻擊方式創新。普華永道網絡安全團隊明顯觀察到,近幾個月客戶收到的網絡釣魚郵件等社會工程學攻擊顯著增長,適逢ChatGPT被廣泛使用;ChatGPT也被發現用于批量生成更具有迷惑性的釣魚網站。

    2. 企業敏感數據泄露

    安全專家們對企業敏感數據可能的泄露產生了顧慮,員工不當的輸入行為可能導致敏感數據留存在生成式AI產品的數據庫。OpenAI的隱私政策顯示,用戶在使用ChatGPT時輸入的內容將被用于訓練其AI算法模型。再者,ChatGPT曾經被曝出遇到嚴重的安全問題,由于開源庫中的漏洞,部分用戶能夠看到其他用戶的對話歷史記錄的標題。目前亞馬遜、微軟等多家科技巨頭已提醒員工,不要向ChatGPT分享敏感數據。

    3. 生成式AI投毒風險

    培訓數據投毒是生成式AI面臨的常見安全威脅,惡意數據對AI算法的結果會產生不良影響。如果運營管理中大量依賴生成式AI,在關鍵問題上可能會做出錯誤的決策。另一方面,生成式AI也有潛在的“偏見”問題。類似于由多位知名專家學者參與的“給AI的100瓶毒藥”活動,企業開發或運用AI的過程中,應有策略地對AI投毒威脅進行積極應對。

    4. 隱私保護問題

    生成式AI預訓練階段需要大量收集和挖掘數據,其中可能包括不少客戶和員工的隱私信息。如果生成式AI不能妥善保護和匿名化這些隱私信息,可能導致隱私泄露,這些隱私信息甚至可能會被濫用于分析和推測用戶行為。例如,手機應用市場充斥著圖像生成軟件,用戶只需要上傳自己的多幅頭像,軟件就可以生成不同場景和題材的合成照片。但軟件公司怎樣利用這些用戶上傳的頭像,是否會帶來隱私保護和其他安全風險,值得關注和應對。

    5. 企業安全合規風險

    在缺乏有效的管理措施之前,生成式AI產品的大量采用或將導致安全合規問題,對企業安全管理人員來說無疑是巨大的挑戰。由網信辦審議通過并經國家發改委、教育部等六部門同意的《生成式人工智能服務管理暫行辦法》已于2023年8月15日起正式施行1 2。從技術發展與治理、服務規范、監督檢查和法律責任等角度提出了基本要求,為生成式AI的采用建立了基本的合規框架。

    了解現實世界中的生成式AI安全威脅場景

    在了解了生成式AI引入的安全風險之后,下文將在更具體的安全威脅場景中分析問題是如何產生的,并探究生成式AI對企業安全產生了哪些潛移默化的影響。

    1. 社會工程學的攻擊

    世界知名黑客凱文·米特尼克曾經說過:“安全鏈中最薄弱的環節是人員因素”。社會工程學黑客慣用的伎倆就是利用花言巧語去誘騙企業員工,而生成式AI的出現則大幅度助長了社會工程學攻擊行為。生成式AI可以生成高度逼真的偽造內容,包括假新聞、虛假的社交媒體帖子、欺詐性郵件等。這些偽造內容可能會誤導用戶,傳播虛假信息,或欺騙企業員工做出錯誤的決策。生成式AI甚至可以用于合成聲音或視頻,使其看起來像是真實的,這可能被用于進行詐騙或偽造證據。包頭市公安局電信網絡犯罪偵查局發布一起使用智能AI技術進行電信詐騙的案件,犯罪分子通過AI換臉技術在10分鐘內騙走430萬元。

    2. 員工無意識的違規

    不少科技廠商已經開始積極布局生成式AI賽道,將大量生成式AI功能集成到產品和服務中。員工可能在使用之前并沒有仔細閱讀用戶使用條款,無意中使用了生成式AI產品。企業員工在使用生成式AI時,可能會輸入包含敏感信息的內容,如財務數據、項目資料,公司機密等,這可能導致企業敏感信息的泄露。要防范生成式AI對企業敏感信息的泄露,企業需要采取綜合的安全措施:包括增強數據泄露保護技術,對員工的上網行為進行限制;同時需要對員工進行安全培訓,提高數據安全和保密警惕性等。一旦發現員工的違規行為,企業需要立即評估影響并進行及時的處置。

    3. 必然的歧視與偏見

    生成式AI之所以可能存在歧視與偏見,主要是由于其訓練數據和模型設計的特點。來自于互聯網+的訓練數據反映了現實世界中的偏見,包括種族、性別、文化、宗教和社會地位等方面。在訓練數據的處理過程中,可能沒有足夠的篩選和清洗措施來排除帶有偏見的數據。同樣,在生成式AI的模型設計和算法選擇中,可能沒有足夠的注意力放在減少偏見方面。算法模型在學習過程中會捕捉到訓練數據中的偏見,導致生成的文本也帶有類似的偏見。雖然消除生成式AI的偏見和歧視是一個復雜的挑戰,但是企業可以采取一些措施來幫助減輕這些歧視與偏見3。

    4. 對隱私保護的妥協

    在使用生成式AI產品的過程中,為了追求高效的自動化和個性化服務,企業和個人可能會在隱私保護方面進行一些妥協,允許生成式AI對部分隱私數據進行收集。除了用戶在使用過程中將個人隱私內容透露給生成式AI,生成式AI還可能分析用戶輸入的內容,通過算法來推測用戶的個人信息、偏好或行為,進一步侵犯用戶的隱私。數據脫敏和匿名化是一種常見隱私保護措施,但是可能會導致數據的部分信息丟失,從而降低了生成模型的準確性,個人隱私保護和生成內容質量需要找到一個平衡點。作為生成式AI提供商,應當向用戶提供透明的隱私政策說明,告知他們數據的收集、使用和共享情況,讓用戶能夠做出知情的決策。

    5. 監管合規的大趨勢

    就目前來看,生成式AI面臨的法律合規風險主要來自于“內容違法違規”和“知識產權侵權”等方面。在疏于監管的情況下,生成式AI可能會生成違法或不當的內容,可能涉及侮辱、誹謗、色情、暴力等不合法或違規的元素;另一方面,生成式AI可能會基于已有的受版權保護的內容進行學習,這可能導致知識產權侵權。使用生成式AI的企業必須進行合規性審查,以確保其應用符合相關法規和標準,避免不必要的法律風險。企業首先應評估是使用的產品否符合《生成式人工智能服務管理暫行辦法》的各項規定,同時需要密切關注相關法規的更新和變化,并及時進行調整以確保合規性。企業在與供應商或合作伙伴使用生成式AI時,需要明確各方的權利和責任,并在合同中規定相應的義務和限制。

    個人和企業如何積極主動應對生成式AI的風險與挑戰

    個人使用者,企業員工需要認識到,在享受生成式AI帶來的各種便利的同時,仍需對自身個人隱私等敏感信息加強保護。

    1. 避免個人隱私泄露

    在使用生成式AI產品之前,員工應當確保服務提供商會合理保障用戶的隱私安全,仔細閱讀隱私政策和用戶條款,盡可能選擇經過公眾驗證的可靠提供商。在使用過程中盡量避免輸入個人隱私數據,在不需要真實身份信息的場景下使用虛擬身份或者匿名信息,任何可能的敏感數據都需要在輸入前進行模糊化處理。在互聯網+上,尤其是社交媒體和公共論壇,員工應當避免過度分享個人信息,如姓名、地址、電話號碼等,不輕易將信息暴露在可公開訪問的網站及內容之中。

    2. 避免生成內容誤導

    由于生成式AI的技術原理限制,其結果內容不可避免存有誤導或偏見,行業專家也在不斷研究如何避免數據投毒風險。對于重要的信息,員工應當從多個獨立和可信的來源進行驗證,如果同一信息只出現在一個地方,可能需要更多調查來確認其真實性。尋找結果中所陳述的信息是否有確鑿的證據支持,如果缺乏實質性的依據,可能需要對該信息持懷疑態度。辨別生成式AI的誤導和偏見需要用戶保持批判性思維,不斷提升自己的數字素養,了解如何安全地使用其產品和服務。

    相對于個人使用者開放的態度,企業對于生成式AI更多還在觀望當中,生成式AI的引入對于企業來說是機遇也是挑戰。企業需要進行全局的風險考慮,提前進行一些應對性戰略部署,普華永道建議企業可以考慮從以下幾個方面著手開始相關的工作。

    1. 企業網絡安全評估明確防御短板

    企業面臨的首要挑戰仍然是如何抵御生成式AI帶來的次世代網絡攻擊。對于企業而言當務之急是評估當前的網絡安全狀態,明確企業是否具備足夠的安全檢測和防御能力來應對這些攻擊,識別潛在的網絡安全防御脆弱性,并采取相應的加固措施來積極應對。為了實現上述目標,普華永道網絡安全團隊建議企業基于這些真實的網絡攻擊威脅場景進行攻防對抗演練,即網絡安全“紅藍對抗”。從不同攻擊場景中提前發現可能存在的網絡安全防御短板,全面系統地修補防御缺陷,以此保護企業的IT資產和數據安全。

    2. 部署企業內部生成式AI測試環境

    要想要了解生成式AI的技術原理,更好地對生成式AI模型產生的結果進行把控,企業可以考慮在內部建立自己的生成式AI沙箱測試環境,從而可以防止不可控的生成式AI產品對企業數據的潛在威脅。通過在隔離環境中進行測試,企業可以確保準確及沒有固有偏見的數據能用于AI開發、更能放心地探索和評估模型的表現,而無需擔心敏感數據泄露風險。隔離的測試環境也可以避免數據投毒和其他針對生成式AI的外部攻擊,保持生成式AI模型的穩定性。

    3. 建立針對生成式AI的風險管理策略

    企業應盡早將生成式AI納入風險管理的目標范圍,對風險管理框架和策略進行針對進行補充和修改。對使用生成式AI的業務場景進行風險評估,識別潛在的風險和安全漏洞,制定相應的風險規劃,明確應對措施和責任分配。設立嚴格的訪問管理制度,確保只有授權的人員可以訪問和使用經過企業允許的生成式AI產品。同時應規范用戶的使用行為,對企業員工進行針對生成式AI風險管理的培訓,增強員工的安全意識和應對能力。企業家在研發生成式AI應用亦應采用隱私設計(Privacy by design)的方法,讓最終用戶清楚他們提供的數據將如何使用以及將保留哪些數據。

    4. 組建專門的生成式AI研究工作組

    企業可以在組織內部集結專業知識和技能,共同探索生成式AI技術的潛在機會和風險,邀請了解相關領域的成員參與工作組,包括數據治理專家、AI模型專家、業務領域專家、法律合規專家等。企業管理層應確保工作組成員能夠訪問所需的數據和資源,以便他們進行探索和實驗,同時鼓勵工作組成員在測試環境中進行實驗和驗證,以便更好地了解生成式AI的潛在機會和業務應用場景以取得應用先進科技的好處又能平衡當中風險。

    結語

    生成式AI的發展和應用正在對科技產生重大的沖擊,這可能引發新的生產力革命。生成式AI是一種強大的技術,它結合了深度學習、自然語言處理和大數據等領域的進步,使計算機系統能夠生成人類語言的內容。企業和員工應該對這種強大的技術進行掌控,確保它的發展和應用在法律、道德和社會責任的框架內進行,這將是未來一段時間面臨重要的課題。普華永道AI專家團隊致力于研究如何幫助企業建立完備的生成式AI管理機制4,讓企業能夠更加安心地應用和開拓這一新興的技術,這將有助于企業加入到AI技術的浪潮中來,讓生成式AI為企業提供持續的競爭優勢。

    尾註

    1. 生成式人工智能服務管理暫行辦法_國務院部門文件_中國政府網https://www.gov.cn/zhengce/zhengceku/202307/content_6891752.htm

    2. 監管與立法解讀:《生成式人工智能服務管理暫行辦法》正式落地https://www.pwccn.com/zh/industries/telecommunications-media-and-technology/publications/interim-measures-for-generative-ai-services-implemented-jul2023.html

    3. Understanding algorithmic bias and how to build trust in AIhttps://www.pwc.com/us/en/tech-effect/ai-analytics/algorithmic-bias-and-trust-in-ai.html

    4. Managing generative AI risks: PwChttps://www.pwc.com/us/en/tech-effect/ai-analytics/managing-generative-ai-risks.html


     

    咨詢公司專欄

    預約咨詢 | 免費咨詢

    聯系我們

    電話

    181-2111-8831

    郵件

    tzl@chnmc.com

    其它

    隨訪:電話預約

    關注我們公眾號

    微信公眾號 chnmc-com,微信掃碼關注
    管理咨詢APP

    點擊安裝管理咨詢APP,可以了解最新管理咨詢 >微信長按圖標,選擇識別圖中二維碼,即可下載安裝!

    相關服務

    我們的客戶

    无码有码日韩人妻无码专区,日韩毛片无码国产,中文字幕亚洲情日韩,日韩福利黄网高清