關于人工智能被認為存在“黑匣子”的問題，全世界都在進行激烈的辯論。最重要的是，如果可以教一臺機器進行自學，那么它如何解釋自己得出的結論?在如何解決可能存在的算法偏見的背景下，這個問題最常出現。解決這一問題的一種方法是根據《通用數據保護條例(GDPR)》第22條規定賦予人類作出決定的權利。在美國，參議員懷登(Wyden)和布克(Booker)在《算法問責法》中建議，企業必須進行影響評估。

 

可審計性、可解釋性、透明度和可復制性(可重復性)通常被認為是避免偏差的手段。在實際意義上，可審計性和可解釋性可能是最接近的，有時它們可能以有趣的方式重疊。

 

審計——至少目前而言——可能在許多情況下是一種可用的方式。這實際上意味著檢查是否遵守法律、法規和/或符合良好或最佳實踐所要求的原則/控制條件。因此，例如，如果目標是避免偏差，那么這就需要進行精確地定義。存在不同類型的偏差，例如確認偏差、測量偏差以及影響從數據中得出結論的其他形式偏差。

 

可解釋性從本質上是具有挑戰性的，因為解釋通常是不完整的，并且解釋會省略掉一些無法解釋的事情。算法在本質上難以解釋。例如，使用“整體”方法的算法。解釋一個模型如何工作是很困難的。解釋幾個模型如何單獨和共同工作，其難度成指數級增加。但市場上有一些有趣的新工具可以提供幫助。

 

透明度通常是一件好事。但是，如果它需要披露與AI應用程序相關的源代碼或工程細節，那么這可能會引起知識產權問題。同樣，對于外行人可能無法解釋的一些事情的透明度，其作用有限。

 

可復制性或可重復性涉及到AI決策過程可重復產生相同結果的程度。這種方法的一個問題是缺乏管理數據采集、監管和處理技術的通用標準，以允許這種可復制性。第二個問題是AI實驗經常涉及人工反復運行AI模型，直到他們發現數據模式，而且難以區分相關性和因果關系。第三個問題是這種技術具有完全的動態性——用如此多的變化來復制結果是很困難的。

 

 

關于審計，杰西•亨佩爾(Jessi Hempel)在其“想要證明你的業務是公平的嗎?審核一下你的算法”一文中寫道一家名為Rentlogic的公司，該公司對一個算法進行外部審計，該算法用于評估紐約市房東如何維護其建筑物。奧尼爾風險咨詢和算法審計公司(ORCAA)設計了一個矩陣，該矩陣由一個垂直線和水平線組成，該垂直線列出利益相關者，而水平線包括表示準確性、一致性、偏差、透明度、公平性和及時性的特征。該矩陣的目的是促進公司內部對算法進行對話。因此，例如，一個建議是要格外仔細查看檢查員報告中的模式。

 

2018年，信息系統審計與控制協會(ISACA)發布了一份題為“審計人工智能”的白皮書，其提供了一些如何進行審計的想法。一個重要方面是審核在本質上并不一定具有特別的技術性。相反，審計人員應“關注于現有的控制和治理結構，并確定它們是否有效運行。審計人員可以通過關注業務和IT治理方面來提供一些保證。”

 

拋開IASCA白皮書，進行外部審計的一種方式可能是驗證企業是否實際建立了負責任進行數據使用的框架，特別是在避免偏差的情況下。至少在美國，這種框架會是什么樣子呢?

 

• 找到一些得到肯定的方法來使用數據，確保在歷史上遭受不當對待的群體得到公平對待。

 

• 確保將現有的非歧視性法律/消費者法律應用到數據分析中。

 

• 提供決策算法中各種因素的表現。

 

• 利用不同的影響分析方法進行內部評估。

 

• 制定應對內部評估的公平標準。

 

檢查或(使用另一個詞)審核企業是否已實施這些流程，這將有助于確保以非歧視的方式使用AI。

 

 

關于可解釋性，也有許多有趣的工作。其中一些工作與治理工作的可審計性重疊。例如，康奈爾大學在題為“模型報告的模型卡(Model Cards for Model Reporting)”的論文中提出了為機器學習模型生成模型卡的想法。這個想法是讓機器學習模型擁有一個“模型卡”，其包含模型詳細信息(包括引文詳細信息和許可證，以及在何處發送有關模型的問題或評論);預期用途;在開發模型時人口統計等因素;衡量指標;評估數據;訓練數據;定量分析;倫理方面的考慮因素，例如模型是否使用敏感數據，即是否影響人們生活;緩解措施;潛在的風險和危害;以及有關特別存在風險的用例信息。這看起來像是一個簡明的影響評估——它肯定為企業提供了有關如何解決可解釋性問題的指南。

 

福布斯最近的一篇題為“可解釋性AI的未來”的文章也提供了一些關于可解釋性發展的有趣內容。該文詳細介紹了谷歌的云端AI平臺模型的What-If-Tool。“我們將看到這個工具在實踐中如何得到應用，而且聲稱它允許分析人員根據特征(比如年齡)對數據集進行切片，然后比較這些切片的性能，這有助于機器學習公平性調查。

 

最重要的是，有許多工具可用于幫助進行審計和解釋，并且未來幾年將有更多工具可供使用。很難說審計或解釋哪個相對更重要——兩者都將在增強公眾對AI的信任方面發揮作用。