論文の概要: Teaching the Machine to Explain Itself using Domain Knowledge

• arxiv url: http://arxiv.org/abs/2012.01932v1
• Date: Fri, 27 Nov 2020 18:46:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 01:37:32.729108
• Title: Teaching the Machine to Explain Itself using Domain Knowledge
• Title（参考訳）: ドメイン知識を使って機械に自己説明を教える
• Authors: Vladimir Balayan, Pedro Saleiro, Catarina Bel\'em, Ludwig Krippahl and Pedro Bizarro
• Abstract要約: 非技術的人間-ループは、モデル予測の背後にある理論的根拠を理解するのに苦労する。 本稿では、意思決定タスクと関連する説明を共同で学習するニューラルネットワークベースのフレームワークJOELを提案する。 認定された専門家のプールからドメインフィードバックを収集し、それをモデル(人間の教え)を改善するために利用します。
• 参考スコア（独自算出の注目度）: 4.462334751640166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine Learning (ML) has been increasingly used to aid humans to make better and faster decisions. However, non-technical humans-in-the-loop struggle to comprehend the rationale behind model predictions, hindering trust in algorithmic decision-making systems. Considerable research work on AI explainability attempts to win back trust in AI systems by developing explanation methods but there is still no major breakthrough. At the same time, popular explanation methods (e.g., LIME, and SHAP) produce explanations that are very hard to understand for non-data scientist persona. To address this, we present JOEL, a neural network-based framework to jointly learn a decision-making task and associated explanations that convey domain knowledge. JOEL is tailored to human-in-the-loop domain experts that lack deep technical ML knowledge, providing high-level insights about the model's predictions that very much resemble the experts' own reasoning. Moreover, we collect the domain feedback from a pool of certified experts and use it to ameliorate the model (human teaching), hence promoting seamless and better suited explanations. Lastly, we resort to semantic mappings between legacy expert systems and domain taxonomies to automatically annotate a bootstrap training set, overcoming the absence of concept-based human annotations. We validate JOEL empirically on a real-world fraud detection dataset. We show that JOEL can generalize the explanations from the bootstrap dataset. Furthermore, obtained results indicate that human teaching can further improve the explanations prediction quality by approximately $13.57\%$.
• Abstract（参考訳）: 機械学習(ml)は、人間がより良く、より速い決定を下すのを助けるためにますます使われています。 しかし、非技術者はモデル予測の背後にある理論的根拠を理解するのに苦労し、アルゴリズムによる意思決定システムの信頼を妨げた。 AIの説明可能性に関する重要な研究は、説明方法を開発することによってAIシステムの信頼を取り戻す試みであるが、大きなブレークスルーはない。 同時に、一般的な説明法(例えば LIME や SHAP)は、非データ科学者のペルソナを理解するのが非常に難しい説明を生成する。 これを解決するために、意思決定タスクとドメイン知識を伝える関連する説明を共同で学習するニューラルネットワークベースのフレームワークJOELを提案する。 JOELは、専門家自身の推論に非常によく似た、モデルの予測に関する高いレベルの洞察を提供する、深い技術的ML知識の欠如を持つ、ループ内のドメインエキスパートに合わせたものだ。 さらに、認定専門家のプールからドメインからのフィードバックを収集し、モデル(人間の教え)を改善するために使用することで、シームレスでより適切な説明を促進します。 最後に,従来の専門家システムとドメイン分類体系のセマンティックマッピングを用いてブートストラップトレーニングセットを自動的に注釈付けし,概念に基づく人間のアノテーションの欠如を克服する。 実世界の不正検出データセット上でJOELを実証的に検証する。 JOELはブートストラップデータセットから説明を一般化できることを示す。 さらに, 人間の指導により, 説明文の予測精度を約$13.57\%$向上できることを示した。

関連論文リスト

• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Towards Human Cognition Level-based Experiment Design for Counterfactual Explanations (XAI) [68.8204255655161]
  XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。 認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。 本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T19:20:22Z)
• Evaluating Human-like Explanations for Robot Actions in Reinforcement Learning Scenarios [1.671353192305391]
  我々は、自律ロボットが行動を実行した後の目標を達成するために、成功の確率から構築された人間のような説明を活用している。 これらの説明は、人工知能の手法の経験がほとんど、あるいはほとんどない人々によって理解されることを意図している。
  論文  参考訳（メタデータ） (2022-07-07T10:40:24Z)
• A general framework for scientifically inspired explanations in AI [76.48625630211943]
  我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。 このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
  論文  参考訳（メタデータ） (2020-03-02T10:32:21Z)
• An Information-Theoretic Approach to Personalized Explainable Machine Learning [92.53970625312665]
  本稿では,予測とユーザ知識のための簡易確率モデルを提案する。 説明と予測の間の条件付き相互情報による説明の効果を定量化する。
  論文  参考訳（メタデータ） (2020-03-01T13:06:29Z)
• Self-explaining AI as an alternative to interpretable AI [0.0]
  二重降下は、深層ニューラルネットワークがデータポイント間のスムーズな補間によって動作することを示している。 複雑な現実世界のデータに基づいてトレーニングされたニューラルネットワークは、本質的に解釈が困難で、外挿を求めると失敗する傾向がある。 自己説明型AIは、決定と説明の両方の信頼性レベルとともに、人間に理解可能な説明を提供することができる。
  論文  参考訳（メタデータ） (2020-02-12T18:50:11Z)
• Explainable Active Learning (XAL): An Empirical Study of How Local Explanations Impact Annotator Experience [76.9910678786031]
  本稿では、最近急増している説明可能なAI(XAI)のテクニックをアクティブラーニング環境に導入することにより、説明可能なアクティブラーニング(XAL)の新たなパラダイムを提案する。 本研究は,機械教育のインタフェースとしてのAI説明の利点として,信頼度校正を支援し,リッチな形式の教示フィードバックを可能にすること,モデル判断と認知作業負荷による潜在的な欠点を克服する効果を示す。
  論文  参考訳（メタデータ） (2020-01-24T22:52:18Z)
• Deceptive AI Explanations: Creation and Detection [3.197020142231916]
  我々は、AIモデルを用いて、偽りの説明を作成し、検出する方法について検討する。 実験的な評価として,GradCAMによるテキスト分類と説明の変更に着目した。 被験者200名を対象に, 偽装説明がユーザに与える影響について検討した。
  論文  参考訳（メタデータ） (2020-01-21T16:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。