2021-04-12 14:52:34 來源：中國周刊

作者：張 欣（對外經(jīng)濟貿(mào)易大學法學院副教授），來源：《法商研究》2021年第2期

作為底層架構的算法，在擴展式嵌入社會經(jīng)濟領域時已逐步超越代碼特質(zhì)，整合并再生為新型“社會權力”。面對這一挑戰(zhàn)，算法影響評估制度應運而生。其有助于創(chuàng)制合理的算法透明度并構筑算法信任，助力場景化和精準化算法治理，與數(shù)據(jù)保護影響評估制度形成有效勾連。美國和加拿大以公共事業(yè)為核心領域，以框架式治理和協(xié)同治理為實現(xiàn)路徑，以“技術架構、影響維度和問責制”為核心支撐，以敏捷治理理念打造智能評估工具，形成了全周期覆蓋、閉環(huán)聯(lián)動的評估框架。在構建本土化方案時，應當科學制定算法影響評估制度的構建規(guī)劃及基本路徑，精細化制度設計并強化制度執(zhí)行實效，合理構建內(nèi)外兼具、激勵相容的協(xié)同評估機制。

一、問題的提出

伴隨著數(shù)據(jù)和人工智能技術的迅猛發(fā)展，以商業(yè)資本或者政治權力為驅(qū)動力，算法已經(jīng)逐步超越代碼這一特質(zhì)，內(nèi)嵌在搜索引擎、新聞推薦、風險評估、人臉識別、自動駕駛等多元化公私場景中，成為構建社會秩序的代理決策者。作為底層架構的算法，雖然形式客觀、運行高效，但其技術特質(zhì)無法為決策的穩(wěn)健性、正當性和合理性作出充分證成。實際上，一系列算法偏誤已經(jīng)在社會、經(jīng)濟領域帶來不良影響。例如，臉書的算法在就業(yè)和住房廣告精準投放時產(chǎn)生了性別傾斜和種族歧視。數(shù)百萬非裔美國人因患者分配醫(yī)療算法的偏誤設計在醫(yī)療護理上受到了系統(tǒng)性歧視。更令人震驚的是，2019年兩架波音飛機因自動駕駛軟件程序故障造成空難，致使346名乘客不幸罹難。由此可見，當算法與公私權力主體相結合，整合并再生成為新型“社會權力”時，各國立法者亟須以平等、公平和安全為內(nèi)核構建科學合理的治理框架，彌合算法系統(tǒng)與社會核心價值之間的潛在張力。但由于一個簡單的算法應用場景至少涉及算法開發(fā)者、部署者、使用者等多個主體和多項法益，不同的算法運行場景也意味著不盡一致的算法治理要求，因此，還需建立一種具有動態(tài)性、精準性、場景性的算法治理機制，打破單一治理框架與多元應用場景之間、技術復雜性和動態(tài)性與治理規(guī)范的穩(wěn)定性和普遍性之間的緊張內(nèi)核。

面對日益攀升的算法治理壓力，算法影響評估制度作為重要的治理方案被提上中外立法議程，成為當下算法治理實踐中最為矚目的焦點。2018年美國紐約市通過頒布《算法問責法》首創(chuàng)自動化決策系統(tǒng)的影響評估制度。2019年加拿大政府頒布《自動化決策指令》系統(tǒng)化創(chuàng)建算法影響評估指標。2020年歐盟《人工智能白皮書》也不約而同地提出應針對人工智能應用建立清晰、易懂且兼顧各方利益的影響評估標準。在我國，從人工智能治理的頂層設計到地方人工智能行動方案，算法影響評估制度已作為一項核心制度被明確提出。例如，新近頒布的《關于建設人工智能上海高地 構建一流創(chuàng)新生態(tài)的行動方案（2019-2021）》就明確提出建立人工智能風險評估和法治監(jiān)管體系。由此可見，算法影響評估制度不僅已經(jīng)成為各國立法者競相關注的焦點，而且還成為人工智能未來監(jiān)管框架的重要起點。但面對日益迫切的制度建構需求，我國學界對于算法影響評估制度的研究卻很薄弱。本文擬聚焦算法影響評估制度，系統(tǒng)梳理其制度優(yōu)勢，對比挖掘域外方案，提煉制度構建的核心機理，為探索建立中國方案奠定有益的理論基礎。

二、算法影響評估制度的治理優(yōu)勢

算法影響評估制度是指依據(jù)系統(tǒng)制定的衡量標準對自動化決策系統(tǒng)的應用流程、數(shù)據(jù)使用和系統(tǒng)設計等內(nèi)容進行系統(tǒng)評判，以明確該系統(tǒng)的影響水平和風險等級的一種算法治理實踐。從技術運行機理和算法治理目標看，算法影響評估制度具有下列3項核心優(yōu)勢。

（一）創(chuàng)制合理的算法透明度并構筑算法信任

在算法對社會不斷重建的過程中，個性化和效率性的增加還伴隨著多元風險，致使決策透明度和可控性下降，甚至形成“黑箱社會”。降低算法決策透明度的根源主要有3個方面：其一，傳統(tǒng)的知識產(chǎn)權和商業(yè)秘密制度成了算法開發(fā)者和部署者對抗算法問責的有力武器；其二，算法開發(fā)者和設計者因受到商業(yè)利益的驅(qū)動而具有將算法模型不斷復雜化、黑箱化的內(nèi)在激勵；其三，現(xiàn)有算法治理框架未能準確捕捉算法運行的內(nèi)在機理，將算法決策的合法化審查轉(zhuǎn)變?yōu)楦∮谛问降暮弦?guī)化管理。算法決策因此變得難以審查。

算法影響評估制度采用全周期視角，以中立、專業(yè)、可信的評估主體為保證，對算法設計、部署、運行的全部流程予以動態(tài)評估，要求算法系統(tǒng)在用于商業(yè)以及公共事業(yè)場景前就接受獨立的社會技術分析。其猶如一把利劍，精準刺破了“黑箱社會”的神秘面紗，創(chuàng)制合理的算法透明度并構筑算法信任。首先，算法影響評估制度從程序和實質(zhì)兩個方面創(chuàng)建了合理的算法透明度，擺脫了算法設計者妄想藏匿于知識產(chǎn)權和商業(yè)秘密制度屏障后，從而試圖逃避算法責任的治理難題。一方面，算法影響評估制度建立了程序性的評估機制，賦予利益相關主體以程序性保障和參與渠道，從而創(chuàng)建了算法決策運行過程中的信任溝通機制，增加了算法決策的適當性。另一方面，算法影響評估制度從實質(zhì)層面預先識別和系統(tǒng)跟蹤算法內(nèi)置或者潛在偏誤，增加算法運行系統(tǒng)的可追溯性、穩(wěn)健性和準確性。其次，算法影響評估標準的建立可以促使研發(fā)主體以負責任的態(tài)度對系統(tǒng)進行開發(fā)，在系統(tǒng)設計之初就預估其可能產(chǎn)生的風險，在運行過程中也實時檢測系統(tǒng)是否按照預期穩(wěn)定運行，由此弱化算法開發(fā)者和設計者不斷將設計復雜化、“黑箱化”的不良激勵。最后，算法影響評估制度還將法律和行業(yè)規(guī)范與各項治理標準有機結合，形成細化可行的評估框架，解決算法問責制流于形式的治理難題，促使各科技公司強化現(xiàn)有控制流程，實現(xiàn)更高效率的風險管理，將算法影響評估制度內(nèi)嵌于技術開發(fā)、流程管理和實際應用的全過程。通過多管齊下，算法影響評估制度既增加了算法決策在多元應用場景中的適當性和可接受性，又有助于營造可信賴的人工智能應用生態(tài)，推動“黑箱社會”轉(zhuǎn)變?yōu)椤帮@式社會”，從根本上構建算法信任。

（二）助力場景化和精準化的算法治理

人工智能時代的治理邏輯已經(jīng)發(fā)生全方位的深度變革，單一框架的治理路徑漸被拋棄，一種基于場景化、精細化的治理實踐已經(jīng)出現(xiàn)。例如，2020年歐盟《人工智能白皮書》就明確提出應當在應用場景、部署目的、安全保護、消費者利益和基本權利5個維度建立基于風險的五級監(jiān)管體系，清晰區(qū)分各類人工智能應用的評估標準，實施差異化監(jiān)管。場景化、精準化的算法治理，意味著各算法應用所涉及的治理目標、治理工具和治理內(nèi)容有所不同，與具體關涉到的主體、行為、規(guī)范、價值具有復雜的匹配關系；其是將技術應用場景中的各方利益和社會影響不斷加以明晰的過程，是事實與規(guī)范的精準細化和科學組合。

正如有的學者所言：“治理活動就是一種場景化行動。一旦某種特定的場景被建構起來，支撐場景化行動的治理技術就有了自主性，成為治理場景的有機組成部分。” 在算法治理領域，算法影響評估制度是場景化、精準化算法治理框架的核心實現(xiàn)路徑，可以幫助開發(fā)者、設計者、部署者以及公眾等利益相關方清晰理解算法設計與應用程序所應配備的治理和監(jiān)管要求。算法影響評估制度還有助于在算法權利配置和責任承擔方面建立依據(jù)具體場景而觸發(fā)的精細化標準和規(guī)則，準確提煉算法應用場景中具有普遍性的治理需求，使復雜多元的算法應用既滿足共性化的設計、部署和運行標準，又可以達致精準化的個性化適配。對于社會嵌入性強、預期風險較大的算法應用而言，算法影響評估制度還可以顯著增加系統(tǒng)的可控性、透明度和穩(wěn)健性。

（三）有效聯(lián)結數(shù)據(jù)保護影響評估制度

在自動化決策系統(tǒng)運行過程中，算法與數(shù)據(jù)緊密相連，共同在場景應用中發(fā)揮作用。在設計和運行環(huán)節(jié)，若沒有海量、可靠的數(shù)據(jù)喂養(yǎng)和支撐，則再好的算法設計也如空中樓閣；但僅有海量數(shù)據(jù)，如果缺乏具有高度解析能力的算法進行高效分析和挖掘，那么海量數(shù)據(jù)也可能被浪費，難以得到有效應用。因此，在網(wǎng)絡治理領域，數(shù)據(jù)保護影響評估制度與算法影響評估制度相輔相成，互為補充，構成算法問責制的一體兩翼。二者制度設計的內(nèi)在機理存在諸多相同之處，如以項目而非組織為執(zhí)行基礎，具有事先預期性而非回溯性特質(zhì)，具有動態(tài)性和持續(xù)性，評估系統(tǒng)和數(shù)據(jù)使用的影響和風險等，但二者的制度設計也存在諸多不同之處。這使得僅依靠數(shù)據(jù)保護影響評估制度難以解決自動化決策系統(tǒng)在運行過程中存在的歧視、偏誤、不透明等治理難題。因此，就自動化決策系統(tǒng)而言，算法影響評估制度不僅可以有效聯(lián)結數(shù)據(jù)保護影響評估制度，而且還能從以下兩個方面彌補其不足。首先，有效彌補了數(shù)據(jù)保護影響評估制度中協(xié)同治理架構設計的不足。以《通用數(shù)據(jù)保護條例》為例，數(shù)據(jù)保護影響評估制度主要立足于數(shù)據(jù)控制者運行的內(nèi)部層面。雖然《通用數(shù)據(jù)保護條例》第35（9）條規(guī)定：“在適當情況下控制者在不影響商業(yè)利益保護、公共利益保護或者處理操作安全的情況下，應當就將要進行的處理向數(shù)據(jù)主體或者代表尋求意見”，第36（1）條規(guī)定：“若根據(jù)本條例第35條的規(guī)定進行的數(shù)據(jù)保護影響評估表明，若控制者不采取措施降低風險，處理將帶來高風險，數(shù)據(jù)控制者應當在處理數(shù)據(jù)之前與監(jiān)管機構進行事先協(xié)商。但并未強制性地要求外部法律、社會或者數(shù)據(jù)安全領域的專家實施獨立監(jiān)督，也并未要求評估過程接受公共機構監(jiān)督。這種制度設計雖然體現(xiàn)了對數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全的關注，但對協(xié)同治理實踐的關注有所不足，對社會和經(jīng)濟影響的評估亦有所欠缺。與數(shù)據(jù)保護影響評估制度相比，算法影響評估制度不僅要求設計者、部署者和運行者對算法設計和相關數(shù)據(jù)展開系統(tǒng)評估，而且還要求在評估過程中納入外部問責和審計力量，全面踐行協(xié)同治理理念，相比較而言具有更為完善的治理架構。其次，有效解決改進數(shù)據(jù)保護影響評估制度中公眾披露不足的問題。在數(shù)據(jù)保護影響評估制度中，雖然立法和相關指南推薦數(shù)據(jù)控制者對評估結果予以公布，但并不強求其公布評估文件和流程信息，可以僅公布核心概要。在數(shù)據(jù)和算法治理實踐中，由于一定程度的公眾參與和公開披露已被廣泛視為構成有效治理的核心要素，因此，算法影響評估制度基于差異化場景建立合理透明度，尤其是對公共事業(yè)場景中高風險的自動化決策系統(tǒng)建立嚴格的公開披露制度，可以有效補齊數(shù)據(jù)保護影響評估制度中公眾披露不足的短板。

三、算法影響評估制度的構建機理

在技術領域，算法影響評估是指對自動化決策系統(tǒng)的穩(wěn)健性、公平性和可解釋性等特性進行的評估。其目標是設定系統(tǒng)的運行邊界和使用周期，創(chuàng)建系統(tǒng)設計者對運行結果負責的切入點。但在算法治理領域，由于算法架構、應用領域、治理框架和治理邏輯等不同，因此存在多個版本的制度設計和提案。本文擬選取美國和加拿大的算法影響評估制度作為代表性的立法樣本，從應用領域、協(xié)調(diào)機制、評估標準和評估工具4個方面系統(tǒng)梳理其核心構建機理。

（一）以公共事業(yè)場景為核心應用領域

現(xiàn)代治理的復雜性和信息科技的廣泛應用極大推動了現(xiàn)代“行政國”向“自動化行政國”的全面轉(zhuǎn)化。從立法、執(zhí)法到司法，從資源分配、戰(zhàn)略部署到責任認定，一系列公共決策正由算法輔助乃至替代執(zhí)行。與此伴隨而來的是算法歧視、算法霸權等算法適用危機。這些危機共同指向3個治理難題：首先，公共事業(yè)領域的算法應用攸關公共利益。一旦發(fā)生決策失誤，就可能帶來系統(tǒng)性社會風險。其次，算法決策偏誤引發(fā)的權益損失目前尚無高效、可行的配套救濟措施。例如，公民在被算法系統(tǒng)錯誤標記后，很難通過高效的方式自證清白并迅速恢復信譽。相反，其可能反復遭受歧視或者錯誤待遇。最后，由于算法模型架構復雜，因此應用于公共事業(yè)場景時難以保障相關人知情、參與、異議和救濟性權利，外部主體難以在傳統(tǒng)制度框架下進行有效的算法問責。針對這些治理痛點，美國和加拿大兩國率先行動，首先聚焦于公共事業(yè)場景中的算法影響評估制度，希冀以此提升行政領域的算法治理實踐。

2018年10月，美國紐約市率先頒布《算法問責法》，揭開了美國在算法治理領域的立法篇章。該法明確規(guī)定行政機構以及慈善團體應用自動化決策系統(tǒng)時應當接受自動化決策系統(tǒng)工作組在公正性、可問責性和透明度等方面的評估。與紐約市的立法類似，2019年華盛頓州提出的S.B.5527和H.B.1655法案以及加利福尼亞州的S.B.444法案也明確規(guī)定政府和公共實體機構在公共事業(yè)場景應用自動化決策系統(tǒng)應當進行算法影響評估。2019年，加拿大政府頒布《自動化決策指令》，以透明、問責、合法、程序公正等核心行政法原則為指引，系統(tǒng)構建算法影響評估制度。該指令聚焦公共事業(yè)場景，主要適用于聯(lián)邦行政機構以及為政府服務的外部主體利用自動化決策系統(tǒng)作出行政決定的情形。雖然美國和加拿大兩國在微觀層面的制度設計有所不同，但算法影響評估制度均率先在公共事業(yè)場景適用。其核心目的都在于通過系統(tǒng)評估和識別自動化決策系統(tǒng)在公共事業(yè)場景對個人和團體的潛在影響和風險，為公眾和外部主體審查和稽核算法奠定基礎，并為探索精準化、場景化的算法治理框架提供決策依據(jù)。

（二）以框架式治理和協(xié)同治理為實現(xiàn)路徑

人工智能技術的創(chuàng)新具有迅速迭代性。算法作為人工智能技術鏈的源頭更是如此。算法技術日益攀升的發(fā)展速率和不斷復雜多元的應用場景使得立法者只能處于被動追趕的艱難境地。觀察美國和加拿大立法者對于算法影響評估制度的構建策略可知，雖然微觀規(guī)則設計各有特色，但均采用框架式治理和協(xié)同治理的思路，在充分考慮技術發(fā)展速率和應用復雜性的基礎上，積極嘗試建立一種動態(tài)開放、自我演化的算法治理機制。所謂框架式治理，是指在確定性的法律規(guī)則之外，以可度量、可標定、可操作、可區(qū)分的分級化指標、標準和清單為基礎，構建起約束相關主體認知和行為框架的治理方式，可以為分級化、場景化、精確化的算法治理實踐提供決策基礎。算法治理實踐中的協(xié)同治理則是指突破傳統(tǒng)政府主導的線性管理模式，借助行業(yè)代表、外部專家和社會公眾等多元力量，對算法應用予以解釋、評估、監(jiān)測和完善的治理策略?？梢哉f，算法影響評估制度預示著人工智能治理實踐開始跨越傳統(tǒng)孤立式的單線治理模式，向以協(xié)同化、立體化、框架化、精準化為特質(zhì)的多元治理模式的深度轉(zhuǎn)變。

在實施路徑上，依據(jù)《算法問責法》，紐約市成立了自動化決策工作組，由市長辦公室主任主持，同時由市長數(shù)據(jù)分析辦公室首席分析官和人權委員會戰(zhàn)略計劃專員聯(lián)席負責。工作組的成員由各相關政府機構和辦公室、企業(yè)和行業(yè)、非營利組織、算法和數(shù)據(jù)領域的專家等共計17名成員組成。為增加規(guī)則的可操作性，工作組自成立以來就制定了認定某一工具或者系統(tǒng)是否屬于行政機構自動化決策系統(tǒng)的自檢清單，以清晰界定應當適用的系統(tǒng)類型。清單和標準相互結合的方式不僅有助于規(guī)則的持續(xù)更新，而且在技術上可度量、可標定，在具體適用層面可觀測、可區(qū)分。在具體表現(xiàn)形式上，該清單以詳細問卷的方式對機器學習、數(shù)據(jù)處理、人工智能技術和公眾影響等術語作以引導式規(guī)定。參評主體可以通過依次回答問卷所列問題從而得出是否應當適用該法的結論。美國聯(lián)邦《算法問責法案》則采取自我評估和政府評估雙軌并行的路徑。依據(jù)該法案的規(guī)定，聯(lián)邦貿(mào)易委員會作為主管行政機構頒布和制定評估標準。對適用該法的實體而言，應當按照法案規(guī)定的評估標準展開影響評估。對屬于法案中規(guī)定的“高風險自動化決策系統(tǒng)”，由聯(lián)邦貿(mào)易委員會在認為必要時與獨立的稽核人員、技術專家咨詢合作展開評估。加拿大《自動化決策指令》同樣采用清單式和問卷式評估框架，通過設定60個與自動化決策系統(tǒng)業(yè)務流程、數(shù)據(jù)和設計相關的問題，以計分卡的形式得出初始評估結論并設定細化的協(xié)同評估方案。依據(jù)評估后對社會和公民的影響程度，自動化決策系統(tǒng)會受到來自國家研究委員會、統(tǒng)計局或者通訊安全機構的專家、高等教育機構的研究人員、具有相關專業(yè)知識的第三方合同供應商、國庫委員會秘書處數(shù)據(jù)和自動化咨詢委員會以及同行評審的組合性評估。為確保評估規(guī)定符合最新算法實踐，該指令采用動態(tài)治理思路，每隔6個月就會對評估標準和治理框架進行必要更新。由此可見，在算法影響評估機制的構建環(huán)節(jié)，明晰的概念界定和量化可行的評估標準是保證治理實效的重要起點，外部專家和公眾力量的多元化實質(zhì)參與是確保其動態(tài)更新、自我演化的關鍵路徑?？蚣苁胶蛥f(xié)同式治理機制的構建，深度契合人工智能技術的運行機理，有助于科學有效地開展算法影響評估并精準辨識應予適用的監(jiān)管框架。

（三）以技術架構、影響維度和問責制構建差異化評估框架

以美國和加拿大為代表的算法影響評估方案雖各具特色、各有側(cè)重，但在構建邏輯上不約而同地反映了推動技術創(chuàng)新以及促進技術應用公平、公正、問責和透明的治理共識。通過詳細對比以美國聯(lián)邦《算法問責法案》為代表的5部美國立法和加拿大《自動化決策指令》，可以發(fā)現(xiàn)立法者以“技術架構、影響維度和問責制”為核心支撐，構成三位一體、互有補充的閉環(huán)評估框架，聚焦差異化、場景化和精準化的算法影響評估實踐。

首先，以技術架構為基礎維度，采用事前、事中、事后的全周期視角設定技術評估指標體系。通過比較發(fā)現(xiàn)，以技術架構為評估維度，立法者多以技術設計效率性和應用目的合法性、技術架構復雜性、系統(tǒng)執(zhí)行任務類型、數(shù)據(jù)使用特性、技術所有權、技術運行監(jiān)測機制、系統(tǒng)可解釋性、系統(tǒng)精確度、技術性和物力性保障措施等內(nèi)容構建核心評估指標。例如，紐約市自動化決策工作組的官方指南指出，應當依據(jù)系統(tǒng)執(zhí)行的任務類型、核心技術組件復雜性、對個人可識別信息的使用程度、系統(tǒng)解釋能力、部署系統(tǒng)緊迫性、系統(tǒng)預期效率等核心指標對技術架構特性進行評估。與這一立法思路類似，美國聯(lián)邦《算法問責法案》亦從技術架構切入，明確提出“自動化終局決策系統(tǒng)”與“自動化輔助決策系統(tǒng)”的區(qū)分，并結合技術新穎性、決策應用范圍、背景和用途，以及所涉數(shù)據(jù)和個人信息的敏感程度建立技術維度評估指標。

其次，采用場景治理和精準治理的思路，以影響主體、影響范圍、影響程度為基礎，建立基于影響維度的評估指標體系。在影響維度指標的設定過程中，各國立法者還嵌入了算法治理實踐所要維護的社會核心價值。以加拿大《自動化決策指令》為例，由于立法者十分關注自動化決策系統(tǒng)在經(jīng)濟、社會和生態(tài)等方面的影響，因此以系統(tǒng)對個人或者團體在基本權利、健康福祉、經(jīng)濟利益以及環(huán)境生態(tài)方面的影響建立評估指標。為進一步精準匹配影響等級和監(jiān)管義務，立法者以風險為基礎將評估后的影響等級劃分為可逆和短暫性影響、可逆和短期性影響、難以逆轉(zhuǎn)且持續(xù)不斷性影響以及不可逆轉(zhuǎn)且永久性影響4個等級。受媒體報道等公共議程的影響，美國立法更多聚焦于自動化決策系統(tǒng)對公平、偏見、歧視、隱私和安全等核心價值的影響。例如，美國聯(lián)邦《算法問責法案》中自動化決策系統(tǒng)影響評估條款（C）項就規(guī)定應當評估系統(tǒng)對消費者個人信息和隱私以及安全構成的風險，同時應評估自動化決策系統(tǒng)可能引致消費者遭遇不公、偏見和歧視性決策的風險。紐約市則以自動化系統(tǒng)潛在影響的性質(zhì)和程度、潛在影響的持續(xù)時間、任何類型的已知或者潛在風險，包括可能帶來的差別性影響或者偏見、對網(wǎng)絡安全、隱私或者個人對關鍵信息的受限訪問等為基準建立影響維度的評估指標體系。

最后，圍繞透明度、合法性、公平和公正等核心價值建立基于算法問責制維度的評估指標體系。具體而言，算法問責制維度的評估指標可被進一步細分為防治不良影響的技術措施、權利救濟渠道、算法透明度實現(xiàn)機制3個層面。以2019年美國聯(lián)邦《算法問責法案》第2條為例，第(b)(iii)和(iv)項規(guī)定應當評估消費者獲得自動化決策系統(tǒng)相關信息以及查閱運行結果并對其進行更正或者反對的難易程度；該條(d)款規(guī)定：“應當評估所涉主體為減少自動化決策系統(tǒng)對消費者隱私或者安全風險以及可能導致的偏誤和歧視風險而采取的技術性和物力性保障措施”。由此可見，立法者是遵循技術防治、權利救濟的思路來具體設定問責維度的評估指標體系的。加拿大《自動化決策指令》設定的評估指標，重點強調(diào)數(shù)據(jù)質(zhì)量問題檢測流程、系統(tǒng)設計、開發(fā)、維護和改進的歸責機制和措施以及規(guī)范檢測數(shù)據(jù)偏差等技術防治措施。加拿大《自動化決策指令》從評估決定的通知和公布、決策后提供解釋、訪問組件、政府對所有已發(fā)布專有組件審計、調(diào)查、檢查保留權、源代碼發(fā)布等算法透明度措施加以規(guī)定。

綜上所述，美國和加拿大的立法者以技術架構、影響維度和算法問責制為核心，構建了三位一體、互有補充、同向發(fā)力的算法影響評估框架。雖然具體指標各有側(cè)重，但均以建立差異化、場景化、精準化的算法治理框架為建構宗旨。因此，紐約市自動化決策工作組提出應盡快制定優(yōu)先性指南，提出關鍵概念和原則，對最重要的工具和系統(tǒng)按照優(yōu)先級展開評估。加拿大的立法更為系統(tǒng)和精確，依據(jù)影響評估后獲得的4個風險等級，從同行評審、通知、人際回圈決策、解釋要求、測試要求、檢測、訓練、應急計劃和系統(tǒng)運行批準共9個方面，形成了具有精確性、協(xié)同性和系統(tǒng)性特征的治理框架，為場景化、精準化算法治理愿景提供了有益的范本。

（四）以敏捷治理思路打造智能評估工具

面對監(jiān)管資源稀缺、監(jiān)管對象復雜的挑戰(zhàn)，監(jiān)管者亟須開發(fā)和嘗試新的思路，合理設定監(jiān)管閾值，在科技創(chuàng)新與風險控制之間尋求良好的平衡。因此，以創(chuàng)建具有柔韌性、流動性、靈活性和適應性監(jiān)管框架為宗旨，以實現(xiàn)監(jiān)管目標多元平衡、監(jiān)管過程動態(tài)優(yōu)化以及監(jiān)管工具靈活轉(zhuǎn)換的敏捷治理理念應運而生。在這一理念的引領之下，各國算法影響評估制度重點對監(jiān)管工具進行了智能化革新，以數(shù)字化、實時性、可擴展性和智能化為目標，運用技術手段對評估工具進行深度的改進。

以加拿大《自動化決策指令》為例，立法者運用動態(tài)編程語言創(chuàng)建開源性算法影響評估模型，以系統(tǒng)類別和目的、決策效用類型、決策解釋性、系統(tǒng)潛在影響檢測機制、公眾回應和投訴機制等類別生成評估所需要的系列問題，依據(jù)該指令附錄C的評估要求按照每類問題的重要性精確設定權重。例如，評估模型將自動化決策系統(tǒng)對社會、經(jīng)濟和政府影響的權重設定得更高，大于其對數(shù)據(jù)管理實踐和程序公平性影響的權重。在每個類別項下，每一具體問題又相應配比風險系數(shù)，依據(jù)不同的答案選項單獨設定評分編碼，據(jù)此生成5個類別的加總得分。參與者僅需花費35分鐘即可利用該評估模型完成一項評估，得出參評系統(tǒng)影響風險所在等級的精確指引，既便于監(jiān)管者和設計者追蹤風險產(chǎn)生的具體環(huán)節(jié)，又可依據(jù)影響等級精準化地確定應履行的程序性義務。當自動化決策系統(tǒng)的功能或者應用場景發(fā)生改變時，評估模型會依據(jù)新的因素及時更新。

通過對核心應用領域、評估實現(xiàn)路徑、指標設計邏輯和評估運行工具的深入分析，可以發(fā)現(xiàn)不同國家的制度設計方案雖各具特色，但仍然反映了人工智能治理框架和規(guī)范構建的核心共識和發(fā)展規(guī)律。對這些有益實踐的科學借鑒，既有助于我國算法治理體系的建立和完善，又為探索更為人性化、場景化、精準化和敏捷化的人工智能治理框架奠定了重要的基礎。

四、中國算法影響評估制度的構建方案

全球人工智能發(fā)展已經(jīng)邁入新階段。為促進新一代人工智能健康發(fā)展，2019年6月，我國國家新一代人工智能治理專業(yè)委員會發(fā)布《新一代人工智能治理原則——發(fā)展負責任的人工智能》（以下簡稱《治理原則》），提出了我國人工智能的治理框架和行動指南?！吨卫碓瓌t》不僅強調(diào)了人工智能的可問責性，而且還提出了公平公正、尊重隱私、安全可控、開放協(xié)作、敏捷治理等8項重要原則。這些原則既體現(xiàn)了在新一輪科技革命中我國作為人工智能發(fā)展大國的責任與擔當，充分展現(xiàn)了我國科技創(chuàng)新政策體系的建設能力，又為實現(xiàn)創(chuàng)新型國家和世界科技強國愿景提供了堅實的制度基礎。目前，人工智能全球治理已經(jīng)在規(guī)則制定層面展開博弈，以美國、加拿大和英國為代表，多國立法者已經(jīng)在算法影響評估領域率先布局，旨在占據(jù)國際標準和治理規(guī)則制定議程中的優(yōu)勢地位。2019年8月，美國商務部國家標準和技術研究所發(fā)布了美國聯(lián)邦參與制定技術標準的詳細計劃，確定了9個人工智能技術標準領域，其中對人工智能安全、風險管理以及可解釋性和安全性方面施以特別關注；該計劃還特別提到3個“非技術性”的人工智能標準，包括社會和道德相關、治理相關以及隱私相關的標準。2020年歐盟《人工智能白皮書》明確提出歐洲尚缺乏共同的人工智能監(jiān)管框架，應當盡快建立基于風險和場景的應用風險等級評估，構建卓越、可信的人工智能體系框架，重獲技術主權優(yōu)勢地位。由此可見，以算法影響評估制度為代表的人工智能領域立法具有國內(nèi)和國際層面的現(xiàn)實緊迫性，我國應予以重點關注。作為人工智能的底層技術，算法影響評估制度已經(jīng)成為人工智能治理議程的源頭節(jié)點。鑒此，在厘清算法影響評估制度的核心優(yōu)勢以及對域外算法影響評估制度進行審視和剖析的基礎上，本文結合我國人工智能產(chǎn)業(yè)發(fā)展和規(guī)制現(xiàn)狀、算法技術運行邏輯、制度設計內(nèi)在機理和協(xié)同評估機制，提出構建中國算法影響評估制度方案的3項建議。

（一）科學制定算法影響評估制度的構建規(guī)劃和基本路徑

算法影響評估制度的現(xiàn)有立法樣本均體現(xiàn)了階段性、場景化、精準化、類型化的創(chuàng)制思路。算法影響評估制度作為人工智能立法的先行領域，雖然具有較強的現(xiàn)實緊迫性，但立法者和監(jiān)管者應審慎冷靜，從算法應用現(xiàn)狀、核心治理目標出發(fā)綜合確定優(yōu)先適用的核心領域和關鍵系統(tǒng)類型，科學合理地確定構建規(guī)劃和基本路徑。

首先，應當根據(jù)我國自動化決策系統(tǒng)應用現(xiàn)狀，以公共事業(yè)場景為先導，結合風險等級確定優(yōu)先適用的核心領域。就行業(yè)發(fā)展規(guī)律而言，我國算法技術應用的價值鏈布局側(cè)重于技術層和應用層，比較偏好技術相對成熟、應用場景清晰的領域。具體到公共事業(yè)領域，對社會治理創(chuàng)新和國家治理現(xiàn)代化目標的切實推進促使政府端成為自動化決策系統(tǒng)切入智慧政務和公共安全應用場景的主要平臺。例如，深圳市寶安區(qū)利用覆蓋全區(qū)的公共信用信息平臺集合所有法人、自然人的信用檔案形成信用畫像，同步實現(xiàn)自動推送信用信息、自動識別黑紅名單、自動提示獎懲依據(jù)、自動實施限制處理、自動反饋處理結果等信用聯(lián)合獎懲智能模式。除此以外，算法技術在智能安防、金融風控、城建監(jiān)管、公共衛(wèi)生防治、警務預測和司法審判等先導領域也已經(jīng)得到廣泛適用。由于在這些領域應用自動化決策系統(tǒng)，既可能會對經(jīng)濟、社會、生態(tài)產(chǎn)生重大影響，也可能會對個人和特定團體的權利產(chǎn)生實質(zhì)影響，因此，處于算法應用鏈條的高風險一端，具有優(yōu)先評估的現(xiàn)實緊迫性。在進行具體的制度設計時，建議以“自上而下”的思路，系統(tǒng)評估算法應用在我國公私領域的風險特征，以公共事業(yè)場景為基礎先導，結合風險等級確定優(yōu)先適用的關鍵領域。

其次，根據(jù)核心目標、技術架構和影響維度并結合已識別的關鍵領域來確定優(yōu)先和重點評估的關鍵系統(tǒng)類型。依據(jù)《治理原則》，結合人工智能治理的全球共識，我國應當圍繞公平公正、尊重隱私、安全可控、可信負責建立核心目標，探索我國的算法影響評估標準。在以公共事業(yè)為先導的布局之下，結合技術架構和影響維度來識別高風險應用場景和系統(tǒng)類型并予以優(yōu)先評估。具體而言，應當以架構復雜性、部署目的、任務類型、影響主體、影響范圍、影響程度、所涉數(shù)據(jù)和個人信息的敏感程度為基礎，探索建立識別高風險自動化決策系統(tǒng)的評估指標體系。仍以社會信用治理實踐為例，不同治理環(huán)節(jié)所涉及的模型系統(tǒng)具有風險差異性：在信用畫像環(huán)節(jié)，可能涉及預測算法、機器學習、推薦算法、相似度計算、分類和聚類計算以及文本挖掘算法等多種算法技術和模型，實現(xiàn)決策執(zhí)行、決策輔助甚至代理決策等功能；而在信用信息推送、黑紅名單識別、獎懲依據(jù)自動提示、自動反饋處理結果等執(zhí)行環(huán)節(jié)，則普遍應用語義分析、協(xié)同過濾等模型，多體現(xiàn)為純粹的決策執(zhí)行功能。后者與前者相比，對經(jīng)濟、社會和個人權利的影響程度有所不同。因此，信用畫像環(huán)節(jié)的自動化決策應用應當被進一步清晰識別為關鍵領域從而進行優(yōu)先和重點評估，適用更嚴格的風險監(jiān)管要求。除此以外，系統(tǒng)部署的緊迫性、系統(tǒng)技術復雜程度、數(shù)據(jù)使用特性等重要指標均應容納在內(nèi)，作為共同識別關鍵領域和優(yōu)先重點評估系統(tǒng)類型的衡量標準?？傮w而言，除“自上而下”的思路之外，還應“自下而上”地以核心價值目標、技術架構和影響維度為基準，結合已識別的關鍵領域動態(tài)確定優(yōu)先和重點評估的關鍵系統(tǒng)類型，科學匹配評估指標和風險管控等級。

（二）精細化制度設計并強化制度執(zhí)行實效

人工智能時代的技術建模和運行模式以精細化、顆粒度為未來迭代方向。受益于數(shù)據(jù)深度挖掘技術的日益成熟，人工智能應用更加注重投入產(chǎn)出比，更加注重精準預測和精確分析，具有架構復雜、場景多元、流程繁復等特質(zhì)。這就要求算法治理領域的規(guī)則設計更加精細化，治理秩序的建構更具實效性。因此，有學者提出“個性化法律”理念，以充分考慮規(guī)制對象的異質(zhì)性、規(guī)則對場景的反饋性以及規(guī)則制定的精細性。具體到我國算法影響評估領域的規(guī)則構建，重點應考慮以下兩個方面。

首先，應以精準化治理為目標推動算法影響評估制度的精細化設計。算法影響評估制度旨在通過建立科學合理的評估指標對多元場景的算法應用予以系統(tǒng)評估，為實行差異化、精準化監(jiān)管奠定規(guī)則基礎。要實現(xiàn)這一目標，尤為需要踐行科學化、精細化的制度建構思路，避免因缺乏必要精度或者量化標準而使評估流于形式。目前各個版本的算法影響評估制度不同程度地面臨著精細化制度設計的挑戰(zhàn)。例如，算法影響評估制度需要對“風險”“重大利益關系”“責任”等關鍵概念進行微觀制度設計。但目前域外立法對于這些關鍵概念仍然缺乏量化標準和必要精度，這導致評估量表中的諸多關鍵問題缺乏可操作性，進而影響算法問責制的有效實施。因此，我國立法者應秉持結構細分、精度量化的設計思路，參考ISO31000風險管理標準等構建策略，對關鍵概念進行必要的量化和精準設計。

其次，應探索建立穩(wěn)定的執(zhí)行保障機制以確保制度執(zhí)行實效。如前所述，算法影響評估制度服務于人工智能治理創(chuàng)新的關鍵需求，是算法問責制有效建立的重要基礎。但美國紐約市的算法治理實踐表明，因缺乏有力的執(zhí)行保障機制，政府僅通過建立統(tǒng)一的評估框架來對算法應用實踐予以引導，此種規(guī)制策略的效果不容樂觀。例如，在美國紐約市的算法影響評估實踐中，由于紐約市自動化決策工作組不具有明確的執(zhí)法權，法條中也未明晰拒絕執(zhí)行評估制度的主體應當承擔何種法律責任，因此造成制度難以長久產(chǎn)生實效的困境。以此為鑒，美國聯(lián)邦的立法通過明確授予美國聯(lián)邦貿(mào)易委員會根據(jù)《美國聯(lián)邦貿(mào)易委員會法》第5節(jié)關于欺騙性和不公平行為的規(guī)定以及授予其通過系統(tǒng)所在州總檢察長提起民事訴訟的權力，較好地回應了實效不足的挑戰(zhàn)。加拿大《自動化決策指令》第7條也明確規(guī)定，如果不遵守該指令，那么可由財政委員會依據(jù)《金融管理法》采取適當和可接受的任何措施。與此同時，依據(jù)《合規(guī)管理框架》，相應的機構和個人應當承擔相應的法律后果。借鑒這些做法，我國立法者應當在規(guī)則設計時重視執(zhí)行保障機制的設立，細化未能有效履行評估義務的主體責任，科學借助算法公開制度賦予公眾的知情權和監(jiān)督權，適時設定專門機構或者行政職位，為建立穩(wěn)定的執(zhí)行保障機制奠定組織基礎。

（三）合理構建內(nèi)外兼具且激勵相容的協(xié)同評估機制

如前所述，美國紐約市是建立算法影響評估制度的先行者。推動其立法的一項核心動因在于非營利組織“為了人民”（ProPublica）于2016年5月發(fā)布的“機器偏差”調(diào)查報告。該報告重在評估和審查，對美國司法領域被告再犯風險預測和評估算法的潛在偏誤和種族歧視問題予以系統(tǒng)揭露。在“為了人民”組織（ProPublica）之外，依托紐約大學運行的人工智能現(xiàn)代研究所作為跨學科機構也對紐約市算法影響評估立法議程和實施機制進行了有力的推動。因此，紐約市的算法影響評估制度呈現(xiàn)出政府主導、行業(yè)參與、團體推動的協(xié)同評估特質(zhì)。這種內(nèi)外兼具的多元化協(xié)同機制既為公私場景中的算法影響評估實踐提供了制度靈活性和延展性，又從內(nèi)在機理上有效貼合算法設計者和運行者的激勵機制，有助于知識產(chǎn)權、商業(yè)秘密和算法評估制度的兼容與調(diào)和。

在我國，《中華人民共和國數(shù)據(jù)安全法（草案）》第9條明確規(guī)定：“國家建立健全數(shù)據(jù)安全協(xié)同治理體系，推動有關部門、行業(yè)組織、企業(yè)和個人等共同參與數(shù)據(jù)安全保護工作，形成全社會共同維護數(shù)據(jù)安全和促進發(fā)展的良好環(huán)境”?！吨腥A人民共和國個人信息保護法（草案）》［以下簡稱《個人信息保護法（草案）》］第11條亦明確規(guī)定：“國家……推動形成政府、企業(yè)、相關行業(yè)組織、社會公眾共同參與個人信息保護的良好環(huán)境?！庇纱丝梢?，無論是在數(shù)據(jù)安全領域，還是在個人信息保護領域，探索內(nèi)外兼具、激勵相容的協(xié)同治理機制已成為我國在數(shù)據(jù)、算法等科技領域打造新型治理機制的重要抓手。但在實踐層面，這一理念尚未得到充分重視。例如，伴隨著2015年國家創(chuàng)建社會信用體系建設示范城市工作的腳步，杭州、蘇州、榮成等10多地政府都已推出體現(xiàn)地方信用治理特色的社會信用評分項目。以芝麻信用、騰訊征信、京東征信等為代表的第三方信用評估機構提供的信用分以及以聯(lián)通和移動構成的電信運營商信用分漸次展開。但是，無論是城市個人信用分，還是第三方機構的商業(yè)信用分，在制定、異議、救濟和評估環(huán)節(jié)均未向公眾提供參與渠道，第三方非營利組織的外部監(jiān)督和有效評估更為鮮見。例如，《福州市個人信用積分管理暫行辦法》第13條規(guī)定：“市信用辦應定期對個人信用積分評價規(guī)則進行修正、補充與完善，并向社會公布”。但這一規(guī)定僅對公布環(huán)節(jié)進行了規(guī)定，而在指標設定、權重計算、模型評估等設計環(huán)節(jié)卻付之闕如，凸顯出協(xié)同治理機制的缺失。

因此，以《個人信息保護法（草案）》的制定為契機，我國在立法中應當進一步細化對算法影響評估制度多元化協(xié)同機制的具體設計和實施機制。首先，應當以評估優(yōu)先級為指引，建立政府主導的算法影響評估機制。具體而言，可以由國家互聯(lián)網(wǎng)信息管理部門作為牽頭機構組建集中化、一體化的評估機制，按照前文提出的評估優(yōu)先級對高風險自動化系統(tǒng)開展定期評估。其次，由國家互聯(lián)網(wǎng)信息管理部門按照職責權限推進算法影響評估服務體系建設，支持有關機構開展算法影響評估和認證服務。具體的開展模式可以借鑒德勤等開展算法審計業(yè)務專門機構的業(yè)務規(guī)則，支持政府和商業(yè)主體在分級分類基礎上對算法應用開展不定期的內(nèi)部和第三方影響評估。最后，參考和借鑒美國紐約市自動化決策工作組創(chuàng)建的多方協(xié)作機制，定期與高校和科研機構、社會公眾以及非政府組織開展協(xié)作，探索構建開放型的多元化評估協(xié)同機制。

五、結 語

隨著數(shù)字經(jīng)濟和智能經(jīng)濟的迅猛發(fā)展，我國經(jīng)濟和社會正經(jīng)歷著前所未有的深度變革。算法技術在商業(yè)和公共事業(yè)領域的嵌入式應用雖然蘊含著巨大的發(fā)展?jié)摿Γ且矊ξ覈怨I(yè)社會以來形成的立法模式和治理模式發(fā)起不斷沖擊，引發(fā)了諸多治理痛點。與其他數(shù)字技術有所不同，作為底層架構的算法，以商業(yè)資本或者政治權力為驅(qū)動力，在擴展式嵌入社會經(jīng)濟等多元決策場景時逐漸展現(xiàn)出系統(tǒng)性和積累性決策效果。有學者曾因此提出應當通過一定的程序進入到自動化決策系統(tǒng)內(nèi)部，了解系統(tǒng)的技術細節(jié)以及其對于社會秩序的相應潛力，并對其融入組織、程序和決策的過程進行系統(tǒng)問責。算法影響評估制度以確保決策質(zhì)量和安全為基本目標，采用全周期動態(tài)思維，系統(tǒng)評估算法應用可能帶來的社會影響和多元風險，同時致力于探尋降低風險的應對措施，為算法問責制在微觀規(guī)則層面提供有力抓手。通過設定核心評估體系，算法影響評估制度將基礎法律原則融入技術設計和行業(yè)規(guī)范之中，在法律規(guī)制與技術創(chuàng)新之間動態(tài)構建良性平衡，以此構筑算法信任，助力場景化和精準化的算法治理，與數(shù)據(jù)保護影響評估制度形成有效勾連。本文以美國和加拿大算法影響評估制度為典型樣本，深度剖析了制度構建的共識性機理，并從行業(yè)發(fā)展規(guī)律、構建路徑、制度運行邏輯和新型協(xié)同機制等方面提出了構建本土化方案的核心策略。須指出的是，由于制度的有效性不僅取決于內(nèi)生因素，而且還受到社會價值、具體情境以及更為廣泛的制度環(huán)境的綜合影響，因此未來還應當對算法影響評估制度的配套機制、與數(shù)據(jù)保護影響評估制度的銜接機制等核心議題進行深入研究，以期為算法影響評估制度的有效運行構建良好的運行生態(tài)。

《數(shù)字法治》專題由華東政法大學數(shù)字法治研究院供稿。專題統(tǒng)籌：秦前松

編輯：海洋