論文の概要: Helpful, Misleading or Confusing: How Humans Perceive Fundamental Building Blocks of Artificial Intelligence Explanations

• arxiv url: http://arxiv.org/abs/2303.00934v1
• Date: Thu, 2 Mar 2023 03:15:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 16:19:39.930202
• Title: Helpful, Misleading or Confusing: How Humans Perceive Fundamental Building Blocks of Artificial Intelligence Explanations
• Title（参考訳）: 人間は人工知能の説明の基本的なブロックをどう認識するか
• Authors: Edward Small, Yueqing Xuan, Danula Hettiachchi, Kacper Sokol
• Abstract要約: 複雑な予測アルゴリズムから一歩引いて、単純な数学的モデルの説明可能性について検討する。 我々は、人々が異なるモデル表現の理解性をどう知覚するかを評価することを目的とする。 これにより、エンジニア、研究者、消費者、規制当局など多様なステークホルダーが基本的な概念の信頼性を判断できる。
• 参考スコア（独自算出の注目度）: 11.667611038005552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Explainable artificial intelligence techniques are evolving at breakneck speed, but suitable evaluation approaches currently lag behind. With explainers becoming increasingly complex and a lack of consensus on how to assess their utility, it is challenging to judge the benefit and effectiveness of different explanations. To address this gap, we take a step back from complex predictive algorithms and instead look into explainability of simple mathematical models. In this setting, we aim to assess how people perceive comprehensibility of different model representations such as mathematical formulation, graphical representation and textual summarisation (of varying scope). This allows diverse stakeholders -- engineers, researchers, consumers, regulators and the like -- to judge intelligibility of fundamental concepts that more complex artificial intelligence explanations are built from. This position paper charts our approach to establishing appropriate evaluation methodology as well as a conceptual and practical framework to facilitate setting up and executing relevant user studies.
• Abstract（参考訳）: 説明可能な人工知能技術は、ブレークネックなスピードで進化していますが、現在の適切な評価アプローチは遅れています。 説明者はますます複雑になり、その有用性を評価するためのコンセンサスが欠如しているため、異なる説明の利点と効果を判断することは困難である。 このギャップに対処するため、複雑な予測アルゴリズムから一歩後退し、代わりに単純な数学的モデルの説明可能性を検討する。 本研究では, 数学的定式化, グラフィカル表現, テキスト要約など, 様々なモデル表現の理解度を, どのように認識するかを評価することを目的とする。 これにより、エンジニア、研究者、消費者、規制当局など多様なステークホルダーが、より複雑な人工知能の説明が構築される基本的な概念の信頼性を判断できるようになる。 本稿では,適切な評価手法を確立するためのアプローチと,関連するユーザ研究のセットアップと実行を容易にする概念的かつ実践的な枠組みを示す。

関連論文リスト

• What Does Evaluation of Explainable Artificial Intelligence Actually Tell Us? A Case for Compositional and Contextual Validation of XAI Building Blocks [16.795332276080888]
  本稿では,説明可能な人工知能システムのためのきめ細かい検証フレームワークを提案する。 技術的ビルディングブロック,ユーザによる説明的成果物,ソーシャルコミュニケーションプロトコルといった,モジュール構造の本質を認識します。
  論文  参考訳（メタデータ） (2024-03-19T13:45:34Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Towards Human Cognition Level-based Experiment Design for Counterfactual Explanations (XAI) [68.8204255655161]
  XAI研究の重点は、より理解を深めるために、より実践的な説明アプローチに変わったようだ。 認知科学研究がXAIの進歩に大きく影響を与える可能性のある領域は、ユーザの知識とフィードバックを評価することである。 本研究では,異なる認知レベルの理解に基づく説明の生成と評価を実験する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-10-31T19:20:22Z)
• What and How of Machine Learning Transparency: Building Bespoke Explainability Tools with Interoperable Algorithmic Components [77.87794937143511]
  本稿では,データ駆動予測モデルを説明するためのハンズオントレーニング教材について紹介する。 これらのリソースは、解釈可能な表現合成、データサンプリング、説明生成の3つのコアビルディングブロックをカバーする。
  論文  参考訳（メタデータ） (2022-09-08T13:33:25Z)
• On the Objective Evaluation of Post Hoc Explainers [10.981508361941335]
  機械学習研究の最近の傾向は、それらがブラックボックスであると考えられる程度に、ますます複雑化しているアルゴリズムにつながっている。 意思決定の不透明度を低減するため、そのようなモデルの内部動作を人間に理解可能な方法で解釈する手法が提案されている。 本稿では,モデルの加法構造から直接導出される地底真理に基づくポストホック説明器の評価のための枠組みを提案する。
  論文  参考訳（メタデータ） (2021-06-15T19:06:51Z)
• Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
  反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。 現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。 本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
  論文  参考訳（メタデータ） (2021-06-14T20:48:48Z)
• Understanding in Artificial Intelligence [10.113757840350727]
  我々は,AI手法の理解能力を測定するため,ベンチマーク開発における進歩を示す。 現在のメソッドが理解能力を開発する方法も検討します。
  論文  参考訳（メタデータ） (2021-01-17T02:29:50Z)
• A Diagnostic Study of Explainability Techniques for Text Classification [52.879658637466605]
  既存の説明可能性技術を評価するための診断特性のリストを作成する。 そこで本研究では, モデルの性能と有理性との整合性の関係を明らかにするために, 説明可能性手法によって割り当てられた有理性スコアと有理性入力領域の人間のアノテーションを比較した。
  論文  参考訳（メタデータ） (2020-09-25T12:01:53Z)
• A general framework for scientifically inspired explanations in AI [76.48625630211943]
  我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。 このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
  論文  参考訳（メタデータ） (2020-03-02T10:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。