論文の概要: Explaining Agent's Decision-making in a Hierarchical Reinforcement Learning Scenario

• arxiv url: http://arxiv.org/abs/2212.06967v1
• Date: Wed, 14 Dec 2022 01:18:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-15 14:26:47.686674
• Title: Explaining Agent's Decision-making in a Hierarchical Reinforcement Learning Scenario
• Title（参考訳）: 階層型強化学習シナリオにおけるエージェントの意思決定
• Authors: Hugo Mu\~noz, Ernesto Portugal, Angel Ayala, Bruno Fernandes, Francisco Cruz
• Abstract要約: 強化学習(Reinforcement learning)は、行動心理学に基づく機械学習手法である。 本研究では,サブタスクからなる階層環境において,メモリベースで説明可能な強化学習手法を利用する。
• 参考スコア（独自算出の注目度）: 0.6643086804649938
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning is a machine learning approach based on behavioral psychology. It is focused on learning agents that can acquire knowledge and learn to carry out new tasks by interacting with the environment. However, a problem occurs when reinforcement learning is used in critical contexts where the users of the system need to have more information and reliability for the actions executed by an agent. In this regard, explainable reinforcement learning seeks to provide to an agent in training with methods in order to explain its behavior in such a way that users with no experience in machine learning could understand the agent's behavior. One of these is the memory-based explainable reinforcement learning method that is used to compute probabilities of success for each state-action pair using an episodic memory. In this work, we propose to make use of the memory-based explainable reinforcement learning method in a hierarchical environment composed of sub-tasks that need to be first addressed to solve a more complex task. The end goal is to verify if it is possible to provide to the agent the ability to explain its actions in the global task as well as in the sub-tasks. The results obtained showed that it is possible to use the memory-based method in hierarchical environments with high-level tasks and compute the probabilities of success to be used as a basis for explaining the agent's behavior.
• Abstract（参考訳）: 強化学習は行動心理学に基づく機械学習アプローチである。 知識を習得し、環境と対話して新しいタスクを実行することができる学習エージェントに焦点を当てている。 しかし、システムのユーザがエージェントが実行するアクションについて、より多くの情報と信頼性を持つ必要がある重要なコンテキストで強化学習が使用されると、問題が発生する。 この点で、説明可能な強化学習は、機械学習の経験のないユーザがエージェントの振る舞いを理解できるように、その振る舞いを説明するために、その振る舞いをメソッドで訓練するエージェントに提供しようとするものである。 その1つは、エピソディックメモリを用いて各状態-動作ペアの成功確率を計算するためのメモリベースの説明可能な強化学習法である。 本研究では,より複雑な課題を解決するために最初に対処する必要があるサブタスクからなる階層環境において,メモリベースで説明可能な強化学習手法を提案する。 最終目標は、エージェントにグローバルタスクとサブタスクでそのアクションを説明する能力を提供することができるかどうかを検証することである。 その結果,ハイレベルなタスクを持つ階層環境においてメモリベース手法を用いることで,エージェントの振る舞いを説明する基盤として使用する成功確率を計算できることがわかった。

関連論文リスト

• REVEAL-IT: REinforcement learning with Visibility of Evolving Agent poLicy for InTerpretability [23.81322529587759]
  REVEAL-ITは複雑な環境下でのエージェントの学習過程を説明するための新しいフレームワークである。 各種学習課題における政策構造とエージェントの学習過程を可視化する。 GNNベースの説明者は、ポリシーの最も重要な部分を強調することを学び、エージェントの学習プロセスについてより明確で堅牢な説明を提供する。
  論文  参考訳（メタデータ） (2024-06-20T11:29:26Z)
• RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
  我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。 提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。 このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
  論文  参考訳（メタデータ） (2023-11-21T21:05:21Z)
• Incremental procedural and sensorimotor learning in cognitive humanoid robots [52.77024349608834]
  本研究は,手順を段階的に学習する認知エージェントを提案する。 各サブステージで必要とされる認知機能と, エージェントが未解決の課題に, 新たな機能の追加がどう対処するかを示す。 結果は、このアプローチが複雑なタスクを段階的に解くことができることを示している。
  論文  参考訳（メタデータ） (2023-04-30T22:51:31Z)
• Learning When and What to Ask: a Hierarchical Reinforcement Learning Framework [17.017688226277834]
  我々は、人間から追加情報を要求するタイミングを決定するための階層的な強化学習フレームワークを定式化した。 シミュレーションによるナビゲーション問題の結果から,本フレームワークの有効性が示された。
  論文  参考訳（メタデータ） (2021-10-14T01:30:36Z)
• Learning an Explicit Hyperparameter Prediction Function Conditioned on Tasks [62.63852372239708]
  メタ学習は、観察されたタスクから機械学習の学習方法論を学び、新しいクエリタスクに一般化することを目的としている。 我々は、これらの学習手法を、全てのトレーニングタスクで共有される明示的なハイパーパラメータ予測関数の学習として解釈する。 このような設定は、メタ学習方法論が多様なクエリタスクに柔軟に適合できることを保証する。
  論文  参考訳（メタデータ） (2021-07-06T04:05:08Z)
• PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
  我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。 提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
  論文  参考訳（メタデータ） (2021-06-09T14:10:50Z)
• Domain-Robust Visual Imitation Learning with Mutual Information Constraints [0.0]
  Disentangling Generative Adversarial Imitation Learning (DisentanGAIL)と呼ばれる新しいアルゴリズムを導入する。 本アルゴリズムは,タスクを実行する専門家の高次元観察から自律エージェントを直接学習することを可能にする。
  論文  参考訳（メタデータ） (2021-03-08T21:18:58Z)
• Coverage as a Principle for Discovering Transferable Behavior in Reinforcement Learning [16.12658895065585]
  私たちは、表現だけでは挑戦的な領域での効率的な転送には不十分であり、行動を通じて知識を伝達する方法を探ります。 事前訓練された政策の行動は、手作業(探索)の問題解決や、問題(探索)の解決に有用なデータ収集に利用することができる。
  論文  参考訳（メタデータ） (2021-02-24T16:51:02Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)
• Explainable robotic systems: Understanding goal-driven actions in a reinforcement learning scenario [1.671353192305391]
  強化学習のシナリオでは、データ駆動アプローチによる説明の提供に多くの努力が注がれている。 本研究では,ロボットシナリオにおけるタスクを実行する強化学習エージェントの意思決定プロセスに焦点をあてる。 我々は、メモリベース、学習ベース、イントロスペクションベースの3つの異なるアプローチによって計算される成功確率を利用する。
  論文  参考訳（メタデータ） (2020-06-24T10:51:14Z)
• Meta-Reinforcement Learning Robust to Distributional Shift via Model Identification and Experience Relabeling [126.69933134648541]
  本稿では,テスト時にアウト・オブ・ディストリビューション・タスクに直面した場合に,効率よく外挿できるメタ強化学習アルゴリズムを提案する。 我々の手法は単純な洞察に基づいており、動的モデルが非政治データに効率的かつ一貫して適応可能であることを認識している。
  論文  参考訳（メタデータ） (2020-06-12T13:34:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。