論文の概要: Let's Go to the Alien Zoo: Introducing an Experimental Framework to Study Usability of Counterfactual Explanations for Machine Learning

• arxiv url: http://arxiv.org/abs/2205.03398v1
• Date: Fri, 6 May 2022 17:57:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-09 15:16:37.544015
• Title: Let's Go to the Alien Zoo: Introducing an Experimental Framework to Study Usability of Counterfactual Explanations for Machine Learning
• Title（参考訳）: エイリアン動物園に行こう: 機械学習における対実的説明の使用可能性を研究する実験フレームワークの導入
• Authors: Ulrike Kuhl and Andr\'e Artelt and Barbara Hammer
• Abstract要約: 反事実的説明(CFEs)は、心理的に根拠づけられたアプローチとして、ポストホックな説明を生み出している。 私たちは、エンゲージメントがあり、Webベースでゲームに触発された実験的なフレームワークであるAlien Zooを紹介します。 概念実証として,本手法の有効性と実用性を示す。
• 参考スコア（独自算出の注目度）: 6.883906273999368
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: To foster usefulness and accountability of machine learning (ML), it is essential to explain a model's decisions in addition to evaluating its performance. Accordingly, the field of explainable artificial intelligence (XAI) has resurfaced as a topic of active research, offering approaches to address the "how" and "why" of automated decision-making. Within this domain, counterfactual explanations (CFEs) have gained considerable traction as a psychologically grounded approach to generate post-hoc explanations. To do so, CFEs highlight what changes to a model's input would have changed its prediction in a particular way. However, despite the introduction of numerous CFE approaches, their usability has yet to be thoroughly validated at the human level. Thus, to advance the field of XAI, we introduce the Alien Zoo, an engaging, web-based and game-inspired experimental framework. The Alien Zoo provides the means to evaluate usability of CFEs for gaining new knowledge from an automated system, targeting novice users in a domain-general context. As a proof of concept, we demonstrate the practical efficacy and feasibility of this approach in a user study. Our results suggest that users benefit from receiving CFEs compared to no explanation, both in terms of objective performance in the proposed iterative learning task, and subjective usability. With this work, we aim to equip research groups and practitioners with the means to easily run controlled and well-powered user studies to complement their otherwise often more technology-oriented work. Thus, in the interest of reproducible research, we provide the entire code, together with the underlying models and user data.
• Abstract（参考訳）: 機械学習(ML)の有用性と説明責任を高めるためには、モデルの性能評価に加えて、モデルの決定を説明することが不可欠である。 そのため、説明可能な人工知能(XAI)の分野は活発な研究のトピックとして再浮上し、自動意思決定の「方法」と「理由」に対処するためのアプローチを提供している。 この領域では、反事実説明(cfes)はポストホックな説明を生成する心理的根拠のあるアプローチとしてかなりの注目を集めている。 そのためにCFEは、モデル入力の変更が特定の方法で予測を変更したことを強調する。 しかし、多くのCFEアプローチが導入されたにもかかわらず、そのユーザビリティは人間レベルではまだ十分に検証されていない。 そこで我々は,XAI の分野を前進させるために,エンゲージメント,Web ベース,ゲームに触発された実験フレームワークである Alien Zoo を紹介する。 Alien Zooは、自動化されたシステムから新たな知識を得るためのCFEのユーザビリティを評価する手段を提供する。 概念実証として,本手法の有効性と実現可能性を示す。 提案した反復学習課題における客観的パフォーマンスと主観的ユーザビリティの両面から,ユーザがCFEを受けることのメリットが示唆された。 本研究は,従来の技術指向の業務を補完するために,制御され,優れたユーザスタディを容易に実行するための手段を,研究グループや実践者に提供することを目的としている。 したがって、再現可能な研究の利益のために、基礎となるモデルやユーザデータとともに、コード全体を提供する。

関連論文リスト

• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [75.78948575957081]
  大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。 本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。 提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• Introducing User Feedback-based Counterfactual Explanations (UFCE) [49.1574468325115]
  対実的説明(CE)は、XAIで理解可能な説明を生成するための有効な解決策として浮上している。 UFCEは、アクション可能な機能のサブセットで最小限の変更を決定するために、ユーザー制約を含めることができる。 UFCEは、textitproximity(英語版)、textitsparsity(英語版)、textitfeasibility(英語版)の2つのよく知られたCEメソッドより優れている。
  論文  参考訳（メタデータ） (2024-02-26T20:09:44Z)
• I-CEE: Tailoring Explanations of Image Classification Models to User Expertise [13.293968260458962]
  I-CEEは,ユーザエキスパートに適した画像分類記述を提供するフレームワークである。 I-CEEは、ユーザの専門知識に依存するサンプルイメージのインフォメーション性をモデル化し、異なるユーザに対して異なるサンプルを生成する。 シミュレーションされたユーザによる実験は、I-CEEがモデルの判断を正確に予測する能力を改善することを示している。
  論文  参考訳（メタデータ） (2023-12-19T12:26:57Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
  我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。 提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。 このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
  論文  参考訳（メタデータ） (2023-11-21T21:05:21Z)
• Learning by Self-Explaining [23.420673675343266]
  我々は、自己説明による学習(LSX)と呼ばれる画像分類の文脈において、新しいワークフローを導入する。 LSXは、自己修復型AIと人間誘導型説明機械学習の側面を利用する。 本結果は,自己説明による学習による改善を,いくつかのレベルで示すものである。
  論文  参考訳（メタデータ） (2023-09-15T13:41:57Z)
• Learning Action-Effect Dynamics for Hypothetical Vision-Language Reasoning Task [50.72283841720014]
  本研究では,行動の効果に関する推論を改善する新しい学習戦略を提案する。 本稿では,提案手法の有効性を実証し,性能,データ効率,一般化能力の観点から,従来のベースラインに対する優位性を論じる。
  論文  参考訳（メタデータ） (2022-12-07T05:41:58Z)
• Keep Your Friends Close and Your Counterfactuals Closer: Improved Learning From Closest Rather Than Plausible Counterfactual Explanations in an Abstract Setting [6.883906273999368]
  対実的説明(CFE)は、モデル入力の変更が特定の方法でその予測を変更したことを強調している。 近年の革新は、自動生成されたCFEに対する計算可能性の概念を導入している。 初級ユーザを対象とした反復学習設計において,計算可能なCFEの客観的および主観的ユーザビリティを評価する。
  論文  参考訳（メタデータ） (2022-05-11T14:07:57Z)
• AcME -- Accelerated Model-agnostic Explanations: Fast Whitening of the Machine-Learning Black Box [1.7534486934148554]
  解釈可能性のアプローチは、ユーザが待つことなく、実行可能な洞察を提供するべきです。 本稿では,グローバルレベルとローカルレベルの両方で特徴的重要性のスコアを迅速に提供する解釈可能性アプローチである,アクセレーションモデル非依存説明(AcME)を提案する。 AcMEは機能ランキングを計算しますが、機能値の変化がモデル予測にどのように影響するかを評価するために、What-if分析ツールも提供しています。
  論文  参考訳（メタデータ） (2021-12-23T15:18:13Z)
• A general framework for scientifically inspired explanations in AI [76.48625630211943]
  我々は、AIシステムの説明を実装可能な一般的なフレームワークの理論的基盤として、科学的説明の構造の概念をインスタンス化する。 このフレームワークは、AIシステムの"メンタルモデル"を構築するためのツールを提供することを目的としている。
  論文  参考訳（メタデータ） (2020-03-02T10:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。