論文の概要: Reconstructing Actions To Explain Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2009.08507v3
• Date: Sat, 13 Feb 2021 01:42:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 08:25:59.530270
• Title: Reconstructing Actions To Explain Deep Reinforcement Learning
• Title（参考訳）: 深い強化学習を説明するための行動の再構築
• Authors: Xuan Chen, Zifan Wang, Yucai Fan, Bonan Jin, Piotr Mardziel, Carlee Joe-Wong, Anupam Datta
• Abstract要約: 本稿では,強調再構成関数のクラスを定義することによって,深いRL動作を説明するための新しいアプローチを提案する。 様々なアタリゲームの実験から、摂動に基づく帰属法の方がはるかに適していることが示唆されている。 代替の属性メソッドよりも深いRLエージェントを説明するためのアクションを再構築する。
• 参考スコア（独自算出の注目度）: 30.14940507423364
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Feature attribution has been a foundational building block for explaining the input feature importance in supervised learning with Deep Neural Network (DNNs), but face new challenges when applied to deep Reinforcement Learning (RL).We propose a new approach to explaining deep RL actions by defining a class of \emph{action reconstruction} functions that mimic the behavior of a network in deep RL. This approach allows us to answer more complex explainability questions than direct application of DNN attribution methods, which we adapt to \emph{behavior-level attributions} in building our action reconstructions. It also allows us to define \emph{agreement}, a metric for quantitatively evaluating the explainability of our methods. Our experiments on a variety of Atari games suggest that perturbation-based attribution methods are significantly more suitable in reconstructing actions to explain the deep RL agent than alternative attribution methods, and show greater \emph{agreement} than existing explainability work utilizing attention. We further show that action reconstruction allows us to demonstrate how a deep agent learns to play Pac-Man game.
• Abstract（参考訳）: 特徴属性は、ディープニューラルネットワーク(DNN)を用いた教師あり学習における入力特徴の重要性を説明するための基礎的な構成要素であるが、ディープ強化学習(RL)に適用した場合、新たな課題に直面している。 本稿では,深部RLにおけるネットワークの振舞いを模倣する関数のクラスを定義することにより,深部RLの動作を説明する新しい手法を提案する。 このアプローチにより、アクションレコンストラクションを構築する際に、dnnアトリビューションメソッドを直接適用することよりも、より複雑な説明可能性の質問に答えることができる。 また、メソッドの説明可能性を定量的に評価する指標であるemph{agreement}を定義することもできる。 各種のアタリゲームにおける実験から, 摂動型帰属法は, 代替的帰属法よりも深部RLエージェントの説明に適しており, 注意力を利用した説明可能性の向上が示唆された。 さらに、アクション再構成により、ディープエージェントがパックマンゲームをする方法を実演できることを示す。

関連論文リスト

• Learning Object-Centric Representation via Reverse Hierarchy Guidance [73.05170419085796]
  OCL(Object-Centric Learning)は、ニューラルネットワークが視覚的なシーンで個々のオブジェクトを識別できるようにする。 RHGNetは、トレーニングと推論プロセスにおいて、さまざまな方法で機能するトップダウンパスを導入している。 我々のモデルは、よく使われる複数のデータセット上でSOTA性能を達成する。
  論文  参考訳（メタデータ） (2024-05-17T07:48:27Z)
• Vision-Language Models Provide Promptable Representations for Reinforcement Learning [67.40524195671479]
  視覚言語モデル(VLM)に符号化された多量の一般知識と索引可能な世界知識をインターネット規模で事前学習して具体的強化学習(RL)を行う新しい手法を提案する。 提案手法では,共通意味的推論の表現にチェーン・オブ・シントを用いることで,新規シーンのポリシー性能を1.5倍向上できることを示す。
  論文  参考訳（メタデータ） (2024-02-05T00:48:56Z)
• CODEX: A Cluster-Based Method for Explainable Reinforcement Learning [0.0]
  本稿では,状態-作用空間におけるRLエージェントの挙動を効果的に要約できる意味的クラスタリングを取り入れた手法を提案する。 MiniGridとStarCraft IIのゲーム環境での実験では、セマンティッククラスタは時間的およびエンティティ情報を保持する。
  論文  参考訳（メタデータ） (2023-12-07T11:04:37Z)
• Model-Free Generative Replay for Lifelong Reinforcement Learning: Application to Starcraft-2 [5.239932780277599]
  生成的リプレイ(GR)は、生物学的にインスパイアされたリプレイ機構であり、自己ラベルの例で学習経験を増強する。 本稿では,2つのデシラタを満たすLRL用GRのバージョンを提案する。 (a) 深層RLを用いて学習したポリシーの潜在表現の内観的密度モデリング, (b) モデルなしのエンドツーエンド学習である。
  論文  参考訳（メタデータ） (2022-08-09T22:00:28Z)
• Generating Explanations from Deep Reinforcement Learning Using Episodic Memory [0.0]
  ディープ強化学習(Deep Reinforcement Learning, RL)は、報酬を最大化するためにシーケンシャルな決定を行うためにディープニューラルネットワーク(Deep Neural Networks, DNN)を使用する。 我々は,Deep RLエージェントとエピソードメモリシステムを用いて,ポリシー実行中の重要な決定を識別し,再記録する。 これらの決定は、人間の読みやすい短い説明を形成することを示し、この決定は、単純で深いRLエージェントの学習をスピードアップするのにも有効である。
  論文  参考訳（メタデータ） (2022-05-18T13:46:38Z)
• Return-Based Contrastive Representation Learning for Reinforcement Learning [126.7440353288838]
  そこで本研究では,学習表現に異なる戻り値を持つ状態-動作ペアを判別させる新しい補助タスクを提案する。 アルゴリズムはatariゲームやdeepmindコントロールスイートの複雑なタスクのベースラインを上回っています。
  論文  参考訳（メタデータ） (2021-02-22T13:04:18Z)
• Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting [100.75479161884935]
  我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。 RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。 メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
  論文  参考訳（メタデータ） (2020-10-04T10:05:27Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)
• Forgetful Experience Replay in Hierarchical Reinforcement Learning from Demonstrations [55.41644538483948]
  本稿では,複雑な視覚環境において,エージェントが低品質な実演を行えるようにするためのアプローチの組み合わせを提案する。 提案した目標指向のリプレイバッファ構築により,エージェントはデモにおいて複雑な階層的タスクを解くためのサブゴールを自動的に強調することができる。 私たちのアルゴリズムに基づくこのソリューションは、有名なMineRLコンペティションのすべてのソリューションを破り、エージェントがMinecraft環境でダイヤモンドをマイニングすることを可能にする。
  論文  参考訳（メタデータ） (2020-06-17T15:38:40Z)
• Uniform State Abstraction For Reinforcement Learning [6.624726878647541]
  マルチグリッド強化学習(MultiGrid Reinforcement Learning, MRL)は, エージェントと環境との相互作用から, ポテンシャル関数の形で抽象的な知識を学習できることを実証した。 本稿では,DQN(Deep Q-Networks)のような最新のディープラーニングアルゴリズムを活用するためにMRLを拡張し改良する。
  論文  参考訳（メタデータ） (2020-04-06T18:13:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。