論文の概要: XRL-Bench: A Benchmark for Evaluating and Comparing Explainable
Reinforcement Learning Techniques
- arxiv url: http://arxiv.org/abs/2402.12685v1
- Date: Tue, 20 Feb 2024 03:20:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-21 17:22:48.180336
- Title: XRL-Bench: A Benchmark for Evaluating and Comparing Explainable
Reinforcement Learning Techniques
- Title（参考訳）: XRL-Bench: 説明可能な強化学習手法の評価と比較のためのベンチマーク
- Authors: Yu Xiong, Zhipeng Hu, Ye Huang, Runze Wu, Kai Guan, Xingchen Fang, Ji
Jiang, Tianze Zhou, Yujing Hu, Haoyu Liu, Tangjie Lyu, Changjie Fan
- Abstract要約: 強化学習(Reinforcement Learning, RL)は、様々な分野において大きな可能性を証明しているが、その意思決定プロセスを理解することは、現在進行中の課題である。
本稿では, 説明可能なAI(XAI)のサブフィールドである説明可能なRL(XRL)について述べる。
我々の焦点は状態記述技術であり、XRL法における重要な部分集合であり、エージェントの行動にいつでも影響を及ぼす要因を明らかにすることである。
- 参考スコア（独自算出の注目度）: 36.28161138606551
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement Learning (RL) has demonstrated substantial potential across
diverse fields, yet understanding its decision-making process, especially in
real-world scenarios where rationality and safety are paramount, is an ongoing
challenge. This paper delves in to Explainable RL (XRL), a subfield of
Explainable AI (XAI) aimed at unravelling the complexities of RL models. Our
focus rests on state-explaining techniques, a crucial subset within XRL
methods, as they reveal the underlying factors influencing an agent's actions
at any given time. Despite their significant role, the lack of a unified
evaluation framework hinders assessment of their accuracy and effectiveness. To
address this, we introduce XRL-Bench, a unified standardized benchmark tailored
for the evaluation and comparison of XRL methods, encompassing three main
modules: standard RL environments, explainers based on state importance, and
standard evaluators. XRL-Bench supports both tabular and image data for state
explanation. We also propose TabularSHAP, an innovative and competitive XRL
method. We demonstrate the practical utility of TabularSHAP in real-world
online gaming services and offer an open-source benchmark platform for the
straightforward implementation and evaluation of XRL methods. Our contributions
facilitate the continued progression of XRL technology.
- Abstract（参考訳）: 強化学習(rl)は、さまざまな分野にまたがる大きな可能性を示しているが、その意思決定プロセスを理解することは、特に合理性と安全性が最優先の現実世界のシナリオにおいて、現在進行中の課題である。
本稿では,説明可能なAI(XAI)のサブフィールドである説明可能なRL(XRL)について述べる。
エージェントのアクションに影響を与える基本的な要因を明らかにするため、xrlメソッドの重要なサブセットである状態説明技術にフォーカスしています。
その重要な役割にもかかわらず、統一評価フレームワークの欠如は、その正確性と有効性の評価を妨げている。
xrl-benchは、xrlメソッドの評価と比較用に調整された統一標準ベンチマークで、標準rl環境、状態重要性に基づく説明器、標準エミュレータの3つの主要なモジュールを包含する。
XRL-Benchは状態説明のための表データと画像データの両方をサポートする。
また,革新的なXRL法であるTabularSHAPを提案する。
我々は,現実のオンラインゲームサービスにおけるTabularSHAPの実用性を実証し,XRL手法の簡単な実装と評価のためのオープンソースのベンチマークプラットフォームを提供する。
我々の貢献は、XRL技術の継続的な進歩を促進する。
関連論文リスト
- Leveraging Reward Consistency for Interpretable Feature Discovery in
Reinforcement Learning [69.19840497497503]
一般的に使われているアクションマッチングの原理は、RLエージェントの解釈よりもディープニューラルネットワーク(DNN)の説明に近いと論じられている。
本稿では,RLエージェントの主目的である報酬を,RLエージェントを解釈する本質的な目的として考察する。
我々は,Atari 2600 ゲームと,挑戦的な自動運転車シミュレータ環境である Duckietown の検証と評価を行った。
論文 参考訳（メタデータ） (2023-09-04T09:09:54Z) - A User Study on Explainable Online Reinforcement Learning for Adaptive
Systems [0.802904964931021]
オンライン強化学習(RL)は、設計時間の不確実性の存在下で適応システムの実現にますます利用されている。
深いRLが関心を持つようになると、学習された知識はもはや明示的に表現されるのではなく、ニューラルネットワークとして表現される。
XRL-DINEは、重要な時点において決定が下された理由に関する視覚的な洞察を提供する。
論文 参考訳（メタデータ） (2023-07-09T05:12:42Z) - A Survey on Explainable Reinforcement Learning: Concepts, Algorithms,
Challenges [38.70863329476517]
強化学習(Reinforcement Learning, RL)は、インテリジェントエージェントが環境と対話して長期的な目標を達成する、一般的な機械学習パラダイムである。
励ましの結果にもかかわらず、ディープニューラルネットワークベースのバックボーンは、専門家が高いセキュリティと信頼性が不可欠である現実的なシナリオにおいて、訓練されたエージェントを信頼し、採用することを妨げるブラックボックスとして広く見なされている。
この問題を緩和するために、本質的な解釈可能性やポストホックな説明可能性を構築することにより、知的エージェントの内部動作に光を放つための大量の文献が提案されている。
論文 参考訳（メタデータ） (2022-11-12T13:52:06Z) - Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。
本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。
我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
論文 参考訳（メタデータ） (2022-09-24T14:22:29Z) - LCRL: Certified Policy Synthesis via Logically-Constrained Reinforcement
Learning [78.2286146954051]
LCRLは未知決定プロセス(MDP)上でのモデルフリー強化学習(RL)アルゴリズムを実装している
本稿では,LCRLの適用性,使いやすさ,拡張性,性能を示すケーススタディを提案する。
論文 参考訳（メタデータ） (2022-09-21T13:21:00Z) - Contextualize Me -- The Case for Context in Reinforcement Learning [49.794253971446416]
文脈強化学習(cRL)は、このような変化を原則的にモデル化するためのフレームワークを提供する。
我々は,cRLが有意義なベンチマークや一般化タスクに関する構造化推論を通じて,RLのゼロショット一般化の改善にどのように貢献するかを示す。
論文 参考訳（メタデータ） (2022-02-09T15:01:59Z) - Explainable Reinforcement Learning for Broad-XAI: A Conceptual Framework
and Survey [0.7366405857677226]
強化学習(Reinforcement Learning, RL)法は、ブロードXAIの開発に必要な認知モデルのための潜在的なバックボーンを提供する。
RLは、さまざまなシーケンシャルな意思決定問題の解決に成功している一連のアプローチである。
本稿では,現在のXRL研究を統一し,Broad-XAI開発のバックボーンとしてRLを用いるCausal XRL Framework (CXF) という概念的フレームワークを導入することを目的とする。
論文 参考訳（メタデータ） (2021-08-20T05:18:50Z) - Heuristic-Guided Reinforcement Learning [31.056460162389783]
Tabula rasa RLアルゴリズムは、意思決定タスクの地平線に合わせてスケールする環境相互作用や計算を必要とする。
我々のフレームワークは、有限の相互作用予算の下でRLのバイアスと分散を制御するための地平線に基づく正規化と見なすことができる。
特に,従来の知識を超越してRLエージェントを外挿できる「改良可能な」新しい概念を導入する。
論文 参考訳（メタデータ） (2021-06-05T00:04:09Z) - RL Unplugged: A Suite of Benchmarks for Offline Reinforcement Learning [108.9599280270704]
オフラインのRL手法を評価・比較するためのRL Unpluggedというベンチマークを提案する。
RL Unpluggedにはゲームやシミュレートされたモーター制御問題を含むさまざまな領域のデータが含まれている。
本論文で提示した全タスクのデータと,全アルゴリズムをオープンソースとして公開する。
論文 参考訳（メタデータ） (2020-06-24T17:14:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。