論文の概要: Counterfactual State Explanations for Reinforcement Learning Agents via Generative Deep Learning

• arxiv url: http://arxiv.org/abs/2101.12446v1
• Date: Fri, 29 Jan 2021 07:43:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-01 13:41:17.331218
• Title: Counterfactual State Explanations for Reinforcement Learning Agents via Generative Deep Learning
• Title（参考訳）: 生成的深層学習による強化学習エージェントの実態説明
• Authors: Matthew L. Olson, Roli Khanna, Lawrence Neal, Fuxin Li, Weng-Keen Wong
• Abstract要約: 我々は,Atariのような視覚入力環境で機能する深層強化学習(RL)エージェントの対実的説明の作成に焦点をあてる。 生成的深層学習に基づく対実的説明に対する新しい例に基づくアプローチである、対実的状態説明を導入する。 以上の結果から,非専門家がより効果的に欠陥のあるRLエージェントを識別できるように,現実のゲームイメージに十分忠実な反ファクト状態説明が可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 27.67522513615264
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Counterfactual explanations, which deal with "why not?" scenarios, can provide insightful explanations to an AI agent's behavior. In this work, we focus on generating counterfactual explanations for deep reinforcement learning (RL) agents which operate in visual input environments like Atari. We introduce counterfactual state explanations, a novel example-based approach to counterfactual explanations based on generative deep learning. Specifically, a counterfactual state illustrates what minimal change is needed to an Atari game image such that the agent chooses a different action. We also evaluate the effectiveness of counterfactual states on human participants who are not machine learning experts. Our first user study investigates if humans can discern if the counterfactual state explanations are produced by the actual game or produced by a generative deep learning approach. Our second user study investigates if counterfactual state explanations can help non-expert participants identify a flawed agent; we compare against a baseline approach based on a nearest neighbor explanation which uses images from the actual game. Our results indicate that counterfactual state explanations have sufficient fidelity to the actual game images to enable non-experts to more effectively identify a flawed RL agent compared to the nearest neighbor baseline and to having no explanation at all.
• Abstract（参考訳）: 反事実的な説明、それは"なぜではないのか?"を扱う。 シナリオは、AIエージェントの行動に洞察力のある説明を提供することができます。 本研究では,Atari のような視覚入力環境で動作する深層強化学習(RL)エージェントの非現実的説明の生成に焦点を当てる。 生成的深層学習に基づく非現実的説明に対する新しい例に基づくアプローチである反実状態説明について紹介する。 具体的には、反事実状態は、エージェントが異なるアクションを選択するようにatariゲームイメージに必要最小限の変更を示す。 また,機械学習の専門家でない人に対する反事実状態の有効性についても検討した。 第1回ユーザスタディでは,実際のゲームによって,あるいは生成的な深層学習アプローチによって,逆実状態の説明が生成されるかどうか,人間が識別できるかどうかを調査した。 第2のユーザスタディでは、非専門家が欠陥のあるエージェントを識別する上で、偽造状態の説明が有効かどうかを調査し、実際のゲームからの画像を用いた近隣の説明に基づくベースラインのアプローチと比較した。 以上の結果から,非専門家が欠陥のあるrlエージェントをより効果的に識別し,説明を全く持たないように,反事実的状態説明は実際のゲーム画像に十分な忠実性を有することが示唆された。

関連論文リスト

• GANterfactual-RL: Understanding Reinforcement Learning Agents' Strategies through Visual Counterfactual Explanations [0.7874708385247353]
  本稿では,RLエージェントの反実的説明を生成する手法を提案する。 本手法は完全にモデルに依存しないので,いくつかの計算量において,従来の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-24T15:29:43Z)
• Experiential Explanations for Reinforcement Learning [15.80179578318569]
  強化学習システムは複雑で解釈不能である。 本稿では,実証説明手法を提案する。
  論文  参考訳（メタデータ） (2022-10-10T14:27:53Z)
• Learning to Scaffold: Optimizing Model Explanations for Teaching [74.25464914078826]
  我々は3つの自然言語処理とコンピュータビジョンタスクのモデルを訓練する。 筆者らは,本フレームワークで抽出した説明文を学習した学生が,従来の手法よりもはるかに効果的に教師をシミュレートできることを発見した。
  論文  参考訳（メタデータ） (2022-04-22T16:43:39Z)
• Visual Abductive Reasoning [85.17040703205608]
  帰納的推論は、部分的な観察の可能な限りの可能な説明を求める。 本稿では,日常的な視覚的状況下でのマシンインテリジェンスの帰納的推論能力を調べるために,新たなタスクとデータセットであるVisual Abductive Reasoning(VAR)を提案する。
  論文  参考訳（メタデータ） (2022-03-26T10:17:03Z)
• Explaining Deep Reinforcement Learning Agents In The Atari Domain through a Surrogate Model [78.69367679848632]
  深部RLエージェントの説明を導出するための軽量で効果的な手法について述べる。 提案手法は,RLエージェントの画素ベース入力から解釈可能な知覚的入力表現への変換に依存する。 次に、ターゲットの深いRLエージェントの挙動を再現するために、それ自身解釈可能な代理モデルを訓練する。
  論文  参考訳（メタデータ） (2021-10-07T05:01:44Z)
• An Empirical Study on the Generalization Power of Neural Representations Learned via Visual Guessing Games [79.23847247132345]
  本研究は,視覚質問応答(VQA)のような新しいNLP下流タスクにおいて,後から実行を依頼されたとき,人工エージェントが推測ゲームでどの程度の利益を得ることができるかを検討する。 提案手法は,1) エージェントがうまく推理ゲームを模倣することを学習する教師あり学習シナリオ,2) エージェントが単独でプレイする新しい方法,すなわち,反復経験学習(SPIEL)によるセルフプレイ(Self-play)を提案する。
  論文  参考訳（メタデータ） (2021-01-31T10:30:48Z)
• This is not the Texture you are looking for! Introducing Novel Counterfactual Explanations for Non-Experts using Generative Adversarial Learning [59.17685450892182]
  反実用説明システムは、入力画像を変更して反実用推論を可能にする。 本稿では, 対向画像から画像への変換技術に基づく, 対向画像の説明を新たに生成する手法を提案する。 その結果,我々のアプローチは,2つの最先端技術システムよりも,メンタルモデル,説明満足度,信頼度,感情,自己効力に関して有意に優れた結果をもたらすことがわかった。
  論文  参考訳（メタデータ） (2020-12-22T10:08:05Z)
• What Did You Think Would Happen? Explaining Agent Behaviour Through Intended Outcomes [30.056732656973637]
  本稿では,意図した結果の概念に基づく強化学習の新たな説明方法を提案する。 これらの説明は、エージェントがそのアクションによって達成しようとしている結果を記述している。 従来の強化学習では,この性質のポストホックな説明のための一般的な手法は不可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-10T12:05:08Z)
• On Generating Plausible Counterfactual and Semi-Factual Explanations for Deep Learning [15.965337956587373]
  PlausIble Exceptionality-based Contrastive Explanations (PIECE) は、テストイメージにおけるすべての例外的特徴を、対実クラスの観点から正規化するように修正する。 2つの制御された実験は、PIECEを文献上の他のものと比較し、PIECEはいくつかの尺度において最も妥当な反事実を生成するだけでなく、最良の半事実も生成することを示した。
  論文  参考訳（メタデータ） (2020-09-10T14:48:12Z)
• Explainability in Deep Reinforcement Learning [68.8204255655161]
  説明可能な強化学習(XRL)の実現に向けての最近の成果を概観する。 エージェントの振る舞いを正当化し、説明することが不可欠である重要な状況において、RLモデルのより良い説明可能性と解釈性は、まだブラックボックスと見なされているものの内部動作に関する科学的洞察を得るのに役立つ。
  論文  参考訳（メタデータ） (2020-08-15T10:11:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。