可解釋的人工智能意味著人類可以理解IT系統做出決定的路徑。人們可以通過分解這個概念來探究人工智能如此重要的原因。
雖然人工智能應用越來越廣泛，但關于人工智能也有一些誤解。有些人采用“黑盒”這個術語描述人工智能，認為其內涵是神秘和不祥的部分，其“X檔案”的內容比IT 日常業務還要多。
然而，像機器學習或深度學習這樣的人工智能系統，確實需要人工輸入，然后在沒有可解釋的場景的情況下產生輸出(或做出決定)。人工智能系統做出決定或采取行動，人們不一定知道它為什么或如何達到這個結果。人工智能系統就是這么做的，而這就是人工智能的黑盒模型，它確實很神秘。在某些用例中應用很好，而在其他情況下卻不一定。
PubNub公司首席技術官兼聯合創始人Stephen Blum表示：“對于像人工智能驅動的聊天機器人或社交信息的情感分析這樣的小事情，而人工智能系統是否在黑盒中運行并不重要。但是對于人類具有巨大影響的用例(例如自動駕駛車輛、飛行導航、無人機、軍事應用)能夠理解決策過程是至關重要的任務。隨著人們在日常生活中越來越依賴人工智能，需要能夠理解其思維過程，并隨著時間的推移做出改變和改進。”
輸入可解釋的人工智能——有時以縮寫詞XAI或類似術語(如可解釋的AI)來表示。顧名思義，它可以被人類解釋和理解，雖然這是一種有點簡化的方式，是一種可解釋的人工智能。
以下是最近的HBR公司分析服務研究報告《現實世界人工智能的執行指南》中更明確的定義：“機器學習技術是一種使人類用戶能夠理解、適當信任和有效管理的人工智能。”
而包括美國國防部高級研究計劃署(DARPA)在內的多個組織正在努力解決這個問題。
“信任”這個詞很關鍵。為此，人工智能專家Blum和其他專家提出了可解釋的人工智能定義，并解釋這一概念對于從金融服務到醫學等領域的人工智能工作的組織至關重要的原因。這種背景可以加強組織成員和團隊的理解，并幫助組織中的其他人員理解可解釋的人工智能及其重要性。以下先從定義開始。
簡單定義的可解釋人工智能
SAS公司執行副總裁兼首席信息官Keith Collins說，“‘可解釋的人工智能’術語是指人類能夠通過動態生成的圖表或文本描述輕松理解人工智能技術做出決策的路徑。”
PubNub公司首席技術官和聯合創始人Stephen Blum說，“可解釋的人工智能可以等同于數學問題中的‘展示工作’。所有的人工智能決策過程和機器學習都不是在黑盒中進行的——它是一種透明的服務，具有被人類從業者解剖和理解的能力。”
Sutherland公司首席分析官Phani Nagarjuna說，“可解釋的人工智能是我們可以解釋人工智能的結果，同時在人工智能達到結果的路徑上能夠清楚地解釋從輸入到結果。”
SPR公司數據分析師Andrew Maturo說，“可解釋的人工智能是一種機器學習或人工智能應用，伴隨著易于理解的推理，它如何得出一個給定的結論。無論是通過先發制人的設計還是回顧性的分析，都在采用新技術來降低人工智能的黑盒不透明性。”
CognitiveScale公司創始人和首席技術官Matt Sanchez說，“簡單來說，可解釋的人工智能意味著人工智能在其操作中是透明的，這樣人類就能夠理解和信任決策。組織必須問這個問題——那么能解釋其人工智能是如何產生這種特定的洞察力或決策的嗎?”
為什么可解釋的人工智能很重要
Sanchez的問題引發了另一個問題：為什么可解釋的人工智能很重要?其原因是多方面的，這可能對人們、企業、政府和社會產生巨大影響。在此考慮一下“信任”這個詞。
IBM Watson物聯網高級產品經理Heena Purohit指出，人工智能(IBM稱之為“增強型智能”)和機器學習已經在以復雜的方式處理大量數據方面做得非常出色。但Purohit說，人工智能和機器學習的目標是幫助人們提高工作效率，做出更明智、更快速的決策——如果人們不知道他們為什么要做出這些決策，這就更加困難了。
Purohit說：“由于人工智能的目的是幫助人們做出更高的決策，當用戶改變行為或根據人工智能輸出(或)預測采取行動時，企業就實現了人工智能解決方案的真正價值。但是，為了讓用戶改變自己的行為，就必須相信系統的建議。當用戶感覺到有能力并知道人工智能系統如何得出建議(或)輸出時，就會建立這種信任。”
從組織領導的角度來看，可解釋的人工智能在某種意義上是讓人們信任并購買這些新系統，以及它們如何改變人們的工作方式。
“看到‘人工智能黑盒’問題仍然存在，我現在確保我們的人工智能解決方案是可以解釋的。”Purohit補充說，“在設計人工智能產品以確保可以解釋人工智能時，我想問的一個問題是：人工智能是否使人類容易理解、檢測和理解其決策過程?”
可解釋的人工智能有助于識別人工智能偏見和審計
可解釋的人工智能對于信任和透明度至關重要的其他領域將越來越重要，例如任何人工智能偏見可能對人們產生有害影響的場景。
SPR公司的Maturo說，“盡管這種解釋的任務很麻煩，但這是一項值得努力的嘗試，通常可以揭示模型中的偏見。在許多行業中，這種透明度可能來自法律、財政、醫療或道德義務。在可能的情況下，模型看起來越不神奇，它的用戶就會越多。”
可解釋的人工智能對于問責制和可審計性也很重要，它將(或者至少應該)仍然存在于組織的人員中，而不是其技術中。
“企業和個人總是需要進行決定。只是按照算法推薦的做法并不具有說服力。”Ness公司數字工程首席技術官Moshe Kranc說。Kranc指出，可解釋的人工智能對于識別錯誤的結果是至關重要的，這些錯誤的結果來自于諸如有偏見或調整不當的培訓數據和其他問題。能夠跟蹤人工智能系統得出不良結果的路徑可以幫助人們解決潛在問題，并防止它們再次發生。
“人工智能技術并不完美。盡管人工智能的預測可能非常準確，但模型總是有可能出錯。”Clara Analytics公司數據科學主管Ji Li說，“人工智能技術具有可解釋性，幫助人類快速做出基于事實的決定，但允許人類仍能使用他們的判斷力。有了可解釋的人工智能，人工智能將成為一種更有用的技術，因為人類并不總是相信或從不相信預測，但卻不斷幫助改進預測。”
事實上，可解釋的人工智能最終將使人工智能在商業環境和日常生活中變得更有價值，同時也防止了不良后果。
“可解釋的人工智能對業務很重要，因為它為我們提供了解決問題的新方法，適當地擴展流程，并最大限度地減少人為錯誤的機會。提高的可視性有助于增強理解，并改善客戶體驗。”SAS公司首席信息官Collins說。
Collins指出，這在醫療和銀行等受到嚴格監管的組織尤為重要，這些組織最終需要能夠展示人工智能系統是如何做出決定或結果。而即使在不需要審計其人工智能的行業中，可解釋人工智能的核心信任和透明度也是值得的，他們可以具有良好的商業意識。
“在采用可解釋的人工智能的情況下，人類增強了技術的知識和經驗，以調整和加強分析模型以供將來使用。”Collins說，。“人類的知識和經驗有助于學習技術，反之亦然。這是一個持續的反饋循環，可以成為企業的一種動態資產。”
