論文の概要: Self-Supervised Discovering of Interpretable Features for Reinforcement
Learning
- arxiv url: http://arxiv.org/abs/2003.07069v4
- Date: Fri, 19 Mar 2021 08:01:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-23 03:33:24.977893
- Title: Self-Supervised Discovering of Interpretable Features for Reinforcement
Learning
- Title（参考訳）: 強化学習のための解釈可能な特徴の自己教師付き発見
- Authors: Wenjie Shi and Gao Huang and Shiji Song and Zhuoyuan Wang and Tingyu
Lin and Cheng Wu
- Abstract要約: 深層強化学習のための自己教師付き解釈可能なフレームワークを提案する。
タスク関連情報を強調するための細かな注意マスクを作成するために、自己教師型解釈ネットワーク(SSINet)が使用される。
Atari 2600とDuckietownは、自動運転車のシミュレータ環境として難易度の高い環境である。
- 参考スコア（独自算出の注目度）: 40.52278913726904
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep reinforcement learning (RL) has recently led to many breakthroughs on a
range of complex control tasks. However, the agent's decision-making process is
generally not transparent. The lack of interpretability hinders the
applicability of RL in safety-critical scenarios. While several methods have
attempted to interpret vision-based RL, most come without detailed explanation
for the agent's behavior. In this paper, we propose a self-supervised
interpretable framework, which can discover interpretable features to enable
easy understanding of RL agents even for non-experts. Specifically, a
self-supervised interpretable network (SSINet) is employed to produce
fine-grained attention masks for highlighting task-relevant information, which
constitutes most evidence for the agent's decisions. We verify and evaluate our
method on several Atari 2600 games as well as Duckietown, which is a
challenging self-driving car simulator environment. The results show that our
method renders empirical evidences about how the agent makes decisions and why
the agent performs well or badly, especially when transferred to novel scenes.
Overall, our method provides valuable insight into the internal decision-making
process of vision-based RL. In addition, our method does not use any external
labelled data, and thus demonstrates the possibility to learn high-quality mask
through a self-supervised manner, which may shed light on new paradigms for
label-free vision learning such as self-supervised segmentation and detection.
- Abstract（参考訳）: deep reinforcement learning(rl)は最近、さまざまな複雑な制御タスクにおいて多くのブレークスルーを生み出した。
しかし、エージェントの意思決定プロセスは一般に透明ではない。
解釈可能性の欠如は、安全クリティカルなシナリオにおけるRLの適用性を妨げている。
いくつかの方法が視覚に基づくRLの解釈を試みたが、多くの場合、エージェントの振る舞いについて詳細な説明は得られなかった。
本稿では,非専門家でも容易に rl エージェントを理解できるように,解釈可能な特徴を発見できる自己教師付き解釈フレームワークを提案する。
具体的には、ssinet(self-supervised interpretable network)を使用して、エージェントの決定の最も証拠となるタスク関連情報を強調するための細かな注意マスクを作成する。
本手法は,いくつかのatari 2600ゲームおよび自動車シミュレータ環境であるduckietown上で検証し,評価する。
提案手法は, エージェントがどのように意思決定を行うか, エージェントの動作が良好か悪いか, とくに新規シーンに移行した場合に, 実験的な証拠を提示する。
全体として,本手法は視覚に基づくRLの内部決定過程に関する貴重な知見を提供する。
さらに,本手法は外部ラベル付きデータを一切使用せず,自己教師付き方式で高品質マスクを学習する可能性を示し,自己教師付きセグメンテーションや検出といったラベルなし視覚学習の新しいパラダイムに光を当てる可能性がある。
関連論文リスト
- DEAR: Disentangled Environment and Agent Representations for Reinforcement Learning without Reconstruction [4.813546138483559]
強化学習(RL)アルゴリズムは視覚的な観察からロボット制御タスクを学習することができるが、大量のデータを必要とすることが多い。
本稿では,その形状に関するエージェントの知識が,視覚的RL法のサンプル効率を向上させる方法について検討する。
本稿では,エージェントのセグメンテーションマスクを監督対象とする,分散環境とエージェント表現という新しい手法を提案する。
論文 参考訳（メタデータ） (2024-06-30T09:15:21Z) - Advantage Actor-Critic with Reasoner: Explaining the Agent's Behavior
from an Exploratory Perspective [19.744322603358402]
我々は、Reasoner (A2CR) を用いたアドバンテージ・アクター・クライシスト(アドバンテージ・アクター・クライト)を提案する。
A2CRはエージェントの意思決定プロセスを理解するために、より包括的で解釈可能なパラダイムを自動生成する。
目的に基づく正当性、早期障害検出、モデル監視など、さまざまな機能を提供します。
論文 参考訳（メタデータ） (2023-09-09T07:19:20Z) - Leveraging Reward Consistency for Interpretable Feature Discovery in
Reinforcement Learning [69.19840497497503]
一般的に使われているアクションマッチングの原理は、RLエージェントの解釈よりもディープニューラルネットワーク(DNN)の説明に近いと論じられている。
本稿では,RLエージェントの主目的である報酬を,RLエージェントを解釈する本質的な目的として考察する。
我々は,Atari 2600 ゲームと,挑戦的な自動運転車シミュレータ環境である Duckietown の検証と評価を行った。
論文 参考訳（メタデータ） (2023-09-04T09:09:54Z) - GANterfactual-RL: Understanding Reinforcement Learning Agents'
Strategies through Visual Counterfactual Explanations [0.7874708385247353]
本稿では,RLエージェントの反実的説明を生成する手法を提案する。
本手法は完全にモデルに依存しないので,いくつかの計算量において,従来の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-02-24T15:29:43Z) - A Survey on Explainable Reinforcement Learning: Concepts, Algorithms,
Challenges [38.70863329476517]
強化学習(Reinforcement Learning, RL)は、インテリジェントエージェントが環境と対話して長期的な目標を達成する、一般的な機械学習パラダイムである。
励ましの結果にもかかわらず、ディープニューラルネットワークベースのバックボーンは、専門家が高いセキュリティと信頼性が不可欠である現実的なシナリオにおいて、訓練されたエージェントを信頼し、採用することを妨げるブラックボックスとして広く見なされている。
この問題を緩和するために、本質的な解釈可能性やポストホックな説明可能性を構築することにより、知的エージェントの内部動作に光を放つための大量の文献が提案されている。
論文 参考訳（メタデータ） (2022-11-12T13:52:06Z) - Redefining Counterfactual Explanations for Reinforcement Learning:
Overview, Challenges and Opportunities [2.0341936392563063]
AIのほとんどの説明方法は、開発者とエキスパートユーザーに焦点を当てている。
ブラックボックスモデルの出力が変更されるための入力で何が変更されるのかについて、カウンターファクトな説明がユーザにアドバイスします。
カウンターファクトはユーザフレンドリで、AIシステムから望ましいアウトプットを達成するための実行可能なアドバイスを提供する。
論文 参考訳（メタデータ） (2022-10-21T09:50:53Z) - Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。
本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。
我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
論文 参考訳（メタデータ） (2022-09-24T14:22:29Z) - Explaining Deep Reinforcement Learning Agents In The Atari Domain
through a Surrogate Model [78.69367679848632]
深部RLエージェントの説明を導出するための軽量で効果的な手法について述べる。
提案手法は,RLエージェントの画素ベース入力から解釈可能な知覚的入力表現への変換に依存する。
次に、ターゲットの深いRLエージェントの挙動を再現するために、それ自身解釈可能な代理モデルを訓練する。
論文 参考訳（メタデータ） (2021-10-07T05:01:44Z) - Explore and Control with Adversarial Surprise [78.41972292110967]
強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。
本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。
本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
論文 参考訳（メタデータ） (2021-07-12T17:58:40Z) - Explainability in Deep Reinforcement Learning [68.8204255655161]
説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。
エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
論文 参考訳（メタデータ） (2020-08-15T10:11:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。