論文の概要: Objective Metrics for Human-Subjects Evaluation in Explainable Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2501.19256v1
• Date: Fri, 31 Jan 2025 16:12:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 13:58:25.014048
• Title: Objective Metrics for Human-Subjects Evaluation in Explainable Reinforcement Learning
• Title（参考訳）: 説明可能な強化学習における対象物評価のための客観的指標
• Authors: Balint Gyevnar, Mark Towers,
• Abstract要約: 説明は基本的に人間のプロセスである。説明の目的と聴衆を理解することは不可欠である。 説明可能な強化学習(XRL)に関する既存の研究は、その評価において人間に日常的に相談しない。 本稿では,観察可能な行動と行動可能な行動に基づく説明評価に客観的な人的指標を使用するよう研究者に呼びかける。
• 参考スコア（独自算出の注目度）: 0.47355466227925036
• License:
• Abstract: Explanation is a fundamentally human process. Understanding the goal and audience of the explanation is vital, yet existing work on explainable reinforcement learning (XRL) routinely does not consult humans in their evaluations. Even when they do, they routinely resort to subjective metrics, such as confidence or understanding, that can only inform researchers of users' opinions, not their practical effectiveness for a given problem. This paper calls on researchers to use objective human metrics for explanation evaluations based on observable and actionable behaviour to build more reproducible, comparable, and epistemically grounded research. To this end, we curate, describe, and compare several objective evaluation methodologies for applying explanations to debugging agent behaviour and supporting human-agent teaming, illustrating our proposed methods using a novel grid-based environment. We discuss how subjective and objective metrics complement each other to provide holistic validation and how future work needs to utilise standardised benchmarks for testing to enable greater comparisons between research.
• Abstract（参考訳）: 説明は基本的に人間のプロセスである。 説明の目的と聴衆を理解することは不可欠であるが、説明可能な強化学習(XRL)に関する既存の研究は、その評価において人間に日常的に相談しない。 信頼や理解などの主観的な指標を常用し,ユーザの意見を研究者に伝えることしかできず,その問題に対する実践的な効果は得られない。 本稿では,より再現性が高く,同等で,認識論的に根ざした研究を構築するために,観察可能かつ行動可能な行動に基づく説明評価に客観的な人的指標を使用するよう研究者に呼びかける。 そこで本稿では,デバッグエージェントの動作に説明を適用し,人間エージェントのチーム化を支援するための客観的評価手法を整理し,記述し,比較する。 主観的および客観的なメトリクスがどのように相互に補完し、総合的な検証を提供するのか、そして、研究間の比較をより高めるために、テストのために標準化されたベンチマークをどのように活用する必要があるかについて論じる。

関連論文リスト

• Learning to Assist Humans without Inferring Rewards [65.28156318196397]
  我々は、エンパワーメントのレンズを通して支援を研究する先行研究に基づいて構築する。 補助剤は、人間の行動の影響を最大化することを目的としている。 これらの表現は、先行研究と類似したエンパワーメントの概念を推定する。
  論文  参考訳（メタデータ） (2024-11-04T21:31:04Z)
• On Evaluating Explanation Utility for Human-AI Decision Making in NLP [39.58317527488534]
  アプリケーショングラウンド評価に適した既存の指標について検討する。 我々は,人間-AIチームの形成と研究のために,芸術の状態を再評価することの重要性を実証する。
  論文  参考訳（メタデータ） (2024-07-03T23:53:27Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Towards Objective Evaluation of Socially-Situated Conversational Robots: Assessing Human-Likeness through Multimodal User Behaviors [26.003947740875482]
  本稿では,ロボットの人間的類似度を主評価指標として評価することに焦点を当てた。 本研究の目的は,観察可能なユーザ行動に基づいてロボットの人間性を評価することであり,客観性と客観性を高めることである。
  論文  参考訳（メタデータ） (2023-08-21T20:21:07Z)
• Provable Benefits of Policy Learning from Human Preferences in Contextual Bandit Problems [82.92678837778358]
  嗜好に基づく手法は、InstructGPTのような経験的応用でかなりの成功を収めている。 フィードバックモデリングにおける人間のバイアスと不確実性がこれらのアプローチの理論的保証にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2023-07-24T17:50:24Z)
• Learning and Evaluating Human Preferences for Conversational Head Generation [101.89332968344102]
  そこで我々は,異なる次元の定量的評価に基づいて,人間の嗜好を適合させる学習ベース評価尺度であるPreference Score(PS)を提案する。 PSは人間のアノテーションを必要とせずに定量的評価を行うことができる。
  論文  参考訳（メタデータ） (2023-07-20T07:04:16Z)
• ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
  大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。 これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。 本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
  論文  参考訳（メタデータ） (2022-12-15T15:52:39Z)
• Counterfactually Evaluating Explanations in Recommender Systems [14.938252589829673]
  人間の関与なしに計算できるオフライン評価手法を提案する。 従来の手法と比較して,本手法は実際の人間の判断とより相関した評価スコアを得られることを示す。
  論文  参考訳（メタデータ） (2022-03-02T18:55:29Z)
• HIVE: Evaluating the Human Interpretability of Visual Explanations [20.060507122989645]
  コンピュータビジョンにおける多種多様な解釈可能性のためのヒューマン評価フレームワークHIVE(Human Interpretability of Visual Explanations)を提案する。 以上の結果から,(実際に正しいかどうかは別として)人的信頼を保ちつつも,正確な予測と誤予測を区別するには十分でないことが示唆された。
  論文  参考訳（メタデータ） (2021-12-06T17:30:47Z)
• On the Interaction of Belief Bias and Explanations [4.211128681972148]
  我々は,信念バイアスの概観,人的評価における役割,そしてNLP実践者の考え方について述べる。 本研究では,評価における信念バイアスを考慮に入れることの重要性を指摘しながら,このような制御を導入する際に,最高性能の手法に関する結論が変化することを示す。
  論文  参考訳（メタデータ） (2021-06-29T12:49:42Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。