論文の概要: Evaluating RL Explainability Methods by How Much They Help Fix Bugs in Agents

• arxiv url: http://arxiv.org/abs/2608.17524v1
• Date: Tue, 18 Aug 2026 08:46:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.274039
• Title: Evaluating RL Explainability Methods by How Much They Help Fix Bugs in Agents
• Title（参考訳）: エージェントのバグ修正にどの程度役立つかによるRL説明可能性の評価
• Abstract要約: 本稿では,説明可能な強化学習(XRL)手法のベンチマークについて概説する。 そこで本研究では,XRL法の有効性を検証し,XRL法の有効性について検討する。
• 参考スコア（独自算出の注目度）: 8.58480571859241
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This preliminary paper outlines a planned evaluation benchmark for Explainable Reinforcement Learning (XRL) methods. Current evaluations rely on functionally-grounded metrics like faithfulness and compactness, and on human-grounded proxies like subjective ratings or prediction accuracy. We suggest evaluating XRL methods by how effectively their generated explanations help to diagnose and fix malfunctioning reinforcement learning (RL) agents. We propose EvalXRL, a benchmark in which a Large Language Model (LLM) coding agent uses different XRL methods to diagnose a held-out malfunction in an RL agent, and then repair it. Our proposed benchmark iterates across (environment $\times$ malfunction $\times$ XRL method) tuples and uses the reward signal of the RL agents to form a final score for each XRL method. The coding agent may use the method interactively: invoke the XRL method, process its output, form new hypotheses on what is broken, and invoke the method again with parameters adjusted for testing these hypotheses. This closed-loop structure may be described as a simplified version of the scientific method. Some XRL methods provide self-evaluations that follow this pattern; we propose the first head-to-head comparison of multiple XRL methods in closed-loop usage.
• Abstract（参考訳）: 本稿では,XRL(Explainable Reinforcement Learning)手法の評価ベンチマークについて概説する。 現在の評価は、忠実さやコンパクトさのような機能的なグラウンドのメトリクスと、主観的評価や予測精度のような人間的グラウンドのプロキシに依存している。 そこで本研究では,XRL法の有効性を検証し,XRL法の有効性について検討する。 本稿では,大規模言語モデル(LLM)符号化エージェントが異なるXRL法を用いてRLエージェントのホールドアウト障害を診断し,それを修復するベンチマークであるEvalXRLを提案する。 提案するベンチマークは,各XRLメソッドに対して最終スコアを形成するために,RLエージェントの報酬信号を用いて,複数のタプル(環境$\times$ malfunction $\times$ XRL method)を反復する。 コーディングエージェントは、XRLメソッドを呼び出し、その出力を処理し、壊れているものに関する新しい仮説を作成し、これらの仮説をテストするために調整されたパラメータで再びメソッドを呼び出す。 この閉ループ構造は、科学的手法の簡易版として記述することができる。 いくつかのXRL法は、このパターンに従う自己評価を提供し、閉ループ利用における複数のXRL法の最初のヘッド・ツー・ヘッド比較を提案する。

関連論文リスト

• Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL [55.05743310621117]
  Co-RLは、パラメータを共有しない複数の分離されたモデルを、仲間から派生した報酬を使ってRLを通じて同時に最適化するフレームワークである。 我々は,コホート多様性の増大が,自己強化フィードバックループを駆動する相関誤差を減少させることを示す。
  論文  参考訳（メタデータ） (2026-08-18T01:16:02Z)
• Sanity Checking Causal Representation Learning on a Simple Real-World System [11.429106388558925]
  我々は,これらの手法が動作すると期待される,シンプルな実世界のシステムにおいて,因果表現学習の手法を評価する。 CRLに対する異なるアプローチを示す手法を選択し,それらがすべて根底にある因果関係の回復に失敗していることを確認した。 弊社の取り組みは、最先端の理論的約束と、その応用における課題の対比を強調している。
  論文  参考訳（メタデータ） (2025-02-27T13:56:54Z)
• XRL-Bench: A Benchmark for Evaluating and Comparing Explainable Reinforcement Learning Techniques [36.28161138606551]
  強化学習(Reinforcement Learning, RL)は、様々な分野において大きな可能性を証明しているが、その意思決定プロセスを理解することは、現在進行中の課題である。 本稿では, 説明可能なAI(XAI)のサブフィールドである説明可能なRL(XRL)について述べる。 我々の焦点は状態記述技術であり、XRL法における重要な部分集合であり、エージェントの行動にいつでも影響を及ぼす要因を明らかにすることである。
  論文  参考訳（メタデータ） (2024-02-20T03:20:37Z)
• RL$^3$: Boosting Meta Reinforcement Learning via RL inside RL$^2$ [12.111848705677142]
  本稿では,従来のRLによるタスクごとの学習をMeta-RLに入力するハイブリッドアプローチであるRL$3$を提案する。 RL$3$は、RL$2$よりも長期で累積的な報酬を得られる一方で、メタトレーニング時間を大幅に削減し、アウト・オブ・ディストリビューション・タスクをより一般化することを示す。
  論文  参考訳（メタデータ） (2023-06-28T04:16:16Z)
• PriMeSRL-Eval: A Practical Quality Metric for Semantic Role Labeling Systems Evaluation [66.79238445033795]
  より厳密なSRL評価指標PriMeSRLを提案する。 また,PriMeSRLは,すべてのSoTA SRLモデルの品質評価を著しく低下させることを示した。 また、PriMeSRLは、SoTA SRLモデルにおける実際の故障を必然的にペナルティ化することを示す。
  論文  参考訳（メタデータ） (2022-10-12T17:04:28Z)
• LCRL: Certified Policy Synthesis via Logically-Constrained Reinforcement Learning [78.2286146954051]
  LCRLは未知決定プロセス(MDP)上でのモデルフリー強化学習(RL)アルゴリズムを実装している 本稿では,LCRLの適用性,使いやすさ,拡張性,性能を示すケーススタディを提案する。
  論文  参考訳（メタデータ） (2022-09-21T13:21:00Z)
• Contrastive Learning as Goal-Conditioned Reinforcement Learning [147.28638631734486]
  強化学習(RL)では,優れた表現が与えられると,課題の解決が容易になる。 ディープRLはこのような優れた表現を自動的に取得する必要があるが、事前の作業では、エンドツーエンドの方法での学習表現が不安定であることが多い。 比較的)表現学習法は,RLアルゴリズムとして自己にキャスト可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-15T14:34:15Z)
• Learning to Prune Deep Neural Networks via Reinforcement Learning [64.85939668308966]
  PuRLは、ニューラルネットワークのプルーニングのためのディープ強化学習ベースのアルゴリズムである。 現在の最先端の手法に匹敵する幅と精度を実現している。
  論文  参考訳（メタデータ） (2020-07-09T13:06:07Z)
• MushroomRL: Simplifying Reinforcement Learning Research [60.70556446270147]
  MushroomRLはオープンソースのPythonライブラリで、強化学習(RL)実験の実装と実行を簡単にするために開発された。 他の利用可能なライブラリと比較して、MushroomRLは、新しいRL方法論の実装とテストの労力を最小限に抑えるために、包括的で柔軟なフレームワークを提供することを目的として作られた。
  論文  参考訳（メタデータ） (2020-01-04T17:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。