論文の概要: Interpretable Reinforcement Learning with Multilevel Subgoal Discovery

• arxiv url: http://arxiv.org/abs/2202.07414v1
• Date: Tue, 15 Feb 2022 14:04:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-16 20:32:20.637291
• Title: Interpretable Reinforcement Learning with Multilevel Subgoal Discovery
• Title（参考訳）: 多段階サブゴール探索による解釈型強化学習
• Authors: Alexander Demin and Denis Ponomaryov
• Abstract要約: 離散環境のための新しい強化学習モデルを提案する。 モデルでは、エージェントは確率的ルールの形で環境に関する情報を学習する。 学習には報酬関数は不要であり、エージェントは達成するための第一の目標のみを与える必要がある。
• 参考スコア（独自算出の注目度）: 77.34726150561087
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel Reinforcement Learning model for discrete environments, which is inherently interpretable and supports the discovery of deep subgoal hierarchies. In the model, an agent learns information about environment in the form of probabilistic rules, while policies for (sub)goals are learned as combinations thereof. No reward function is required for learning; an agent only needs to be given a primary goal to achieve. Subgoals of a goal G from the hierarchy are computed as descriptions of states, which if previously achieved increase the total efficiency of the available policies for G. These state descriptions are introduced as new sensor predicates into the rule language of the agent, which allows for sensing important intermediate states and for updating environment rules and policies accordingly.
• Abstract（参考訳）: 本研究は, 本質的に解釈可能であり, 深層階層の発見を支援する, 離散環境のための新しい強化学習モデルを提案する。 モデルでは、エージェントは確率的ルールの形で環境に関する情報を学習し、一方(サブ)ゴールに対するポリシーはその組み合わせとして学習される。 学習には報酬関数は不要であり、エージェントは達成するための主要な目標のみを与える必要がある。 これらの状態記述は、エージェントのルール言語に新しいセンサーが述語として導入され、重要な中間状態を検知し、それに従って環境ルールとポリシーを更新することができる。

関連論文リスト

• Probabilistic Subgoal Representations for Hierarchical Reinforcement learning [16.756888009396462]
  目標条件付き階層的強化学習において、ハイレベルポリシーは、低レベルポリシーが到達するためのサブゴールを指定する。 既存の方法では、状態空間から潜在サブゴール空間への決定論的マッピングを提供するサブゴール表現を採用している。 本稿では,潜在サブゴアル空間に先行するGPを用いて,サブゴアル表現関数上の後部分布を学習する。
  論文  参考訳（メタデータ） (2024-06-24T15:09:22Z)
• Goal-Conditioned Imitation Learning using Score-based Diffusion Policies [3.49482137286472]
  スコアベース拡散モデル(SDM)に基づく新しいポリシー表現を提案する。 我々はゴール・コンディションド・イミテーション・ラーニング(GCIL)の領域に新しい政策表現を適用した。 直感的なガイダンスを用いて,遊びデータから目標に依存しないポリシーを学習するためにBESOをどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2023-04-05T15:52:34Z)
• Goal-Conditioned Q-Learning as Knowledge Distillation [136.79415677706612]
  目標条件設定における非政治強化学習と知識蒸留との関連について検討する。 これは,目標の空間が高次元である場合に,目標条件付き非政治強化学習の性能を向上させることを実証的に示す。 また,複数のスパース目標を同時に達成した場合に,この手法を効果的に学習できることを示す。
  論文  参考訳（メタデータ） (2022-08-28T22:01:10Z)
• Compositional Generalization in Grounded Language Learning via Induced Model Sparsity [81.38804205212425]
  グリッド環境における単純な言語条件のナビゲーション問題について考察する。 本研究では,オブジェクトの指示文と属性のスパース相関を助長するエージェントを設計し,それらを組み合わせて目的を導出する。 我々のエージェントは、少数のデモンストレーションから学習した場合でも、新しいプロパティの組み合わせを含む目標に対して高いレベルのパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2022-07-06T08:46:27Z)
• Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in Latent Space [76.46113138484947]
  汎用ロボットは、現実世界の非構造環境において困難なタスクを完了するために、多様な行動レパートリーを必要とする。 この問題に対処するため、目標条件強化学習は、コマンド上の幅広いタスクの目標に到達可能なポリシーを取得することを目的としている。 本研究では,長期的課題に対する目標条件付き政策を実践的に訓練する手法であるPlanning to Practiceを提案する。
  論文  参考訳（メタデータ） (2022-05-17T06:58:17Z)
• Goal-Conditioned Reinforcement Learning with Imagined Subgoals [89.67840168694259]
  我々は、複雑なタスクの学習を容易にするために、想像上のサブゴールをポリシー学習に組み込むことを提案する。 想像上のサブゴールは、政策と批判を同時に訓練する独立したハイレベルな政策によって予測される。 複雑なロボットナビゲーションと操作タスクに対する我々のアプローチを評価し、既存の手法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-01T15:30:59Z)
• DisCo RL: Distribution-Conditioned Reinforcement Learning for General-Purpose Policies [116.12670064963625]
  分散条件強化学習(DisCo RL)と呼ばれるオフポリシーアルゴリズムを開発し、コンテキストポリシーを効率的に学習します。 DisCo RLをさまざまなロボット操作タスクで評価し、新しい目標分布への一般化を必要とするタスクの以前の方法を大幅に上回っていることを発見しました。
  論文  参考訳（メタデータ） (2021-04-23T16:51:58Z)
• Learn Goal-Conditioned Policy with Intrinsic Motivation for Deep Reinforcement Learning [9.014110264448371]
  目的条件付き政策(GPIM)という新しい教師なし学習手法を提案する。 GPIMは抽象レベルポリシーと目標条件ポリシーの両方を共同で学習する。 提案したGPIM法の有効性と効率性を示す様々なロボットタスクの実験。
  論文  参考訳（メタデータ） (2021-04-11T16:26:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。