論文の概要: Goal Space Abstraction in Hierarchical Reinforcement Learning via Reachability Analysis

• arxiv url: http://arxiv.org/abs/2309.07168v1
• Date: Tue, 12 Sep 2023 06:53:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-15 17:39:41.066948
• Title: Goal Space Abstraction in Hierarchical Reinforcement Learning via Reachability Analysis
• Title（参考訳）: 階層型強化学習における目標空間抽象化
• Authors: Mehdi Zadem (LIX, U2IS), Sergio Mover (LIX), Sao Mai Nguyen (U2IS, Flowers, IMT Atlantique - INFO, Lab-STICC_RAMBO)
• Abstract要約: 本研究では,環境状態の集合を抽象化する創発的表現によるサブゴール発見のための発達機構を提案する。 我々は、この表現をポリシーとともに徐々に学習し、それをナビゲーションタスクで評価して、学習した表現が解釈可能であり、結果としてデータ効率が向上することを示すHRLアルゴリズムを作成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-ended learning benefits immensely from the use of symbolic methods for goal representation as they offer ways to structure knowledge for efficient and transferable learning. However, the existing Hierarchical Reinforcement Learning (HRL) approaches relying on symbolic reasoning are often limited as they require a manual goal representation. The challenge in autonomously discovering a symbolic goal representation is that it must preserve critical information, such as the environment dynamics. In this work, we propose a developmental mechanism for subgoal discovery via an emergent representation that abstracts (i.e., groups together) sets of environment states that have similar roles in the task. We create a HRL algorithm that gradually learns this representation along with the policies and evaluate it on navigation tasks to show the learned representation is interpretable and results in data efficiency.
• Abstract（参考訳）: オープンディビジョン学習は、効率的で転送可能な学習のために知識を構造化する方法を提供するため、目標表現にシンボリックな方法を使用することで大きなメリットがあります。 しかしながら、既存の階層強化学習(HRL)アプローチは、しばしば手動の目標表現を必要とするため、象徴的推論に依存している。 象徴的な目標表現を自律的に発見する上での課題は、環境力学のような重要な情報を保存する必要があることである。 本研究では,タスクに類似する役割を持つ環境状態の集合を抽象化する創発的表現を通じて,サブゴア発見のための発達的メカニズムを提案する。 我々は、この表現をポリシーとともに徐々に学習するHRLアルゴリズムを作成し、それをナビゲーションタスクで評価して、学習した表現が解釈可能であることを示す。

関連論文リスト

• Synthesizing Evolving Symbolic Representations for Autonomous Systems [2.4233709516962785]
  本稿では,その経験をスクラッチからPDDL表現に合成し,時間とともに更新できるオープンエンド学習システムを提案する。 a)選択肢を発見する、(b)選択肢を使って環境を探索する、(c)収集した知識を抽象化する、(d)計画。
  論文  参考訳（メタデータ） (2024-09-18T07:23:26Z)
• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• A Novel Neural-symbolic System under Statistical Relational Learning [50.747658038910565]
  本稿では,GBPGRと呼ばれる2段階の確率的グラフィカル推論フレームワークを提案する。 GBPGRでは、シンボル推論の結果を用いて、ディープラーニングモデルによる予測を洗練し、修正する。 提案手法は高い性能を示し, 帰納的タスクと帰納的タスクの両方において効果的な一般化を示す。
  論文  参考訳（メタデータ） (2023-09-16T09:15:37Z)
• Goal Space Abstraction in Hierarchical Reinforcement Learning via Set-Based Reachability Analysis [0.5409704301731713]
  本稿では,目標表現と階層的ポリシの両方を同時に学習するFeudal HRLアルゴリズムを提案する。 複雑なナビゲーションタスクに対する我々のアプローチを評価し、学習された表現が解釈可能で、転送可能であり、データ効率のよい学習結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-09-14T12:39:26Z)
• Symbolic Visual Reinforcement Learning: A Scalable Framework with Object-Level Abstraction and Differentiable Expression Search [63.3745291252038]
  DiffSESは、離散的なシンボルポリシーを発見する新しいシンボリック学習手法である。 生のピクセルレベルの入力の代わりにオブジェクトレベルの抽象化を使用することで、DiffSESはシンボリック表現の単純さとスケーラビリティの利点を活用することができる。 我々の実験は、DiffSESが最先端のシンボルRL法よりもシンプルでスケーラブルなシンボリックポリシーを生成することができることを示した。
  論文  参考訳（メタデータ） (2022-12-30T17:50:54Z)
• Representation Learning in Deep RL via Discrete Information Bottleneck [39.375822469572434]
  本研究では,タスク非関連情報の存在下で,潜在状態を効率的に構築するために,情報のボトルネックを利用する方法について検討する。 本稿では,RepDIBとよばれる変動的および離散的な情報のボトルネックを利用して,構造化された因子化表現を学習するアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-12-28T14:38:12Z)
• Discrete Factorial Representations as an Abstraction for Goal Conditioned Reinforcement Learning [99.38163119531745]
  離散化ボトルネックを適用することにより,目標条件付きRLセットアップの性能が向上することを示す。 分布外目標に対する期待した回帰を実験的に証明し、同時に表現的な構造で目標を指定できるようにします。
  論文  参考訳（メタデータ） (2022-11-01T03:31:43Z)
• An Empirical Investigation of Representation Learning for Imitation [76.48784376425911]
  視覚、強化学習、NLPにおける最近の研究は、補助的な表現学習の目的が、高価なタスク固有の大量のデータの必要性を減らすことを示している。 本稿では,表現学習アルゴリズムを構築するためのモジュラーフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-16T11:23:42Z)
• Weakly Supervised Disentangled Representation for Goal-conditioned Reinforcement Learning [15.698612710580447]
  本稿では,サンプル効率の向上と政策一般化を目的としたスキル学習フレームワークDR-GRLを提案する。 本稿では,解釈可能かつ制御可能な表現を学習するための空間変換オートエンコーダ(STAE)を提案する。 DR-GRLは, 試料効率と政策一般化において, 従来の手法よりも有意に優れていたことを実証的に実証した。
  論文  参考訳（メタデータ） (2022-02-28T09:05:14Z)
• Value Function Spaces: Skill-Centric State Abstractions for Long-Horizon Reasoning [120.38381203153159]
  強化学習は、複雑なタスクを効果的に実行するポリシーを訓練することができる。 長期のタスクでは、これらのメソッドのパフォーマンスは水平線とともに劣化し、しばしば推論と下層のスキルの構築を必要とします。 そこで我々は,各下層スキルに対応する値関数を用いて,そのような表現を生成するシンプルな手法として,値関数空間を提案する。
  論文  参考訳（メタデータ） (2021-11-04T22:46:16Z)
• Learning Neural-Symbolic Descriptive Planning Models via Cube-Space Priors: The Voyage Home (to STRIPS) [13.141761152863868]
  我々のニューロシンボリックアーキテクチャは、画像のみから簡潔で効果的な離散状態遷移モデルを生成するために、エンドツーエンドで訓練されていることを示す。 私たちのターゲット表現は、既成の問題解決者が使いこなせる形で既に存在しており、現代の検索機能への扉を開いています。
  論文  参考訳（メタデータ） (2020-04-27T15:01:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。