論文の概要: A Comparative User Evaluation of XRL Explanations using Goal Identification
- arxiv url: http://arxiv.org/abs/2510.16956v1
- Date: Sun, 19 Oct 2025 18:23:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 00:56:39.223161
- Title: A Comparative User Evaluation of XRL Explanations using Goal Identification
- Title（参考訳）: ゴール同定を用いたXRL記述の比較ユーザ評価
- Authors: Mark Towers, Yali Du, Christopher Freeman, Timothy J. Norman,
- Abstract要約: そこで本研究では,エージェントの目標を決定要因の説明から識別できるかどうかを検証するための新しい評価手法を提案する。
テスト対象の目標に対してランダムな精度を達成できたのはたった1人であり,ユーザが選択を過度に信頼していたことが判明した。
- 参考スコア（独自算出の注目度）: 10.78471173364966
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Debugging is a core application of explainable reinforcement learning (XRL) algorithms; however, limited comparative evaluations have been conducted to understand their relative performance. We propose a novel evaluation methodology to test whether users can identify an agent's goal from an explanation of its decision-making. Utilising the Atari's Ms. Pacman environment and four XRL algorithms, we find that only one achieved greater than random accuracy for the tested goals and that users were generally overconfident in their selections. Further, we find that users' self-reported ease of identification and understanding for every explanation did not correlate with their accuracy.
- Abstract（参考訳）: デバッグは、説明可能な強化学習(XRL)アルゴリズムの中核的な応用であるが、相対的な性能を理解するための限定的な比較評価が実施されている。
そこで本研究では,エージェントの目標を決定的判断から特定できるかどうかを検証するための新しい評価手法を提案する。
AtariのMs. Pacman環境と4つのXRLアルゴリズムを用いて、テストされた目標に対してランダムな精度以上の精度を達成できたのは1つだけであり、一般的にユーザは選択を過信していた。
さらに,各説明に対する自己申告による識別・理解の容易さは,その正確さと相関しないことがわかった。
関連論文リスト
- SelfJudge: Faster Speculative Decoding via Self-Supervised Judge Verification [28.63435151584449]
本稿では,対象モデルの自己監督により検証者の判断を訓練するSelfJudgeを提案する。
本手法は,トークン置換応答が本来の応答の意味を保っているかどうかを評価することによって意味保存を測定する。
論文 参考訳（メタデータ） (2025-09-26T02:21:12Z) - Feature-Guided Neighbor Selection for Non-Expert Evaluation of Model Predictions [5.575448433529451]
Feature-Guided Neighbor Selectionは、非専門家のモデルエラーを識別する能力を改善する。
参加者は従来のk-NNの説明よりも高速で正確な決定をした。
論文 参考訳（メタデータ） (2025-07-08T14:32:25Z) - Quantifying User Coherence: A Unified Framework for Cross-Domain Recommendation Analysis [69.37718774071793]
本稿では,レコメンデーションシステムを理解するための新しい情報理論手法を提案する。
9つのデータセットで7つのレコメンデーションアルゴリズムを評価し、測定値と標準的なパフォーマンス指標の関係を明らかにする。
論文 参考訳（メタデータ） (2024-10-03T13:02:07Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳（メタデータ） (2024-06-28T20:06:30Z) - Introducing User Feedback-based Counterfactual Explanations (UFCE) [49.1574468325115]
対実的説明(CE)は、XAIで理解可能な説明を生成するための有効な解決策として浮上している。
UFCEは、アクション可能な機能のサブセットで最小限の変更を決定するために、ユーザー制約を含めることができる。
UFCEは、textitproximity(英語版)、textitsparsity(英語版)、textitfeasibility(英語版)の2つのよく知られたCEメソッドより優れている。
論文 参考訳（メタデータ） (2024-02-26T20:09:44Z) - XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。
XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。
6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
論文 参考訳（メタデータ） (2023-10-09T08:07:04Z) - Precise Benchmarking of Explainable AI Attribution Methods [0.0]
本稿では,最新のXAI属性手法のベンチマークのための新しい評価手法を提案する。
提案手法は, 基礎的真理の説明を伴う合成分類モデルから成り立っている。
実験の結果, Guided-Backprop 法と Smoothgrad XAI 法の性能に関する新たな知見が得られた。
論文 参考訳（メタデータ） (2023-08-06T17:03:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。