論文の概要: First-Order Representation Languages for Goal-Conditioned RL

• arxiv url: http://arxiv.org/abs/2512.19355v1
• Date: Mon, 22 Dec 2025 12:54:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.757937
• Title: First-Order Representation Languages for Goal-Conditioned RL
• Title（参考訳）: ゴールコンディション付きRLのための一階表現言語
• Authors: Simon Ståhlberg, Hector Geffner,
• Abstract要約: 目標条件付きRLと一般化計画における一階述語の使用を検討する。 問題は、トレーニングインスタンスが大きい場合、目標条件付きおよび一般的なポリシーをどのように学習するかだ。 状態と目標が原子の集合で表されるとき、さらなる性能向上が達成できることを示す。
• 参考スコア（独自算出の注目度）: 8.89493507314525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: First-order relational languages have been used in MDP planning and reinforcement learning (RL) for two main purposes: specifying MDPs in compact form, and representing and learning policies that are general and not tied to specific instances or state spaces. In this work, we instead consider the use of first-order languages in goal-conditioned RL and generalized planning. The question is how to learn goal-conditioned and general policies when the training instances are large and the goal cannot be reached by random exploration alone. The technique of Hindsight Experience Replay (HER) provides an answer to this question: it relabels unsuccessful trajectories as successful ones by replacing the original goal with one that was actually achieved. If the target policy must generalize across states and goals, trajectories that do not reach the original goal states can enable more data- and time-efficient learning. In this work, we show that further performance gains can be achieved when states and goals are represented by sets of atoms. We consider three versions: goals as full states, goals as subsets of the original goals, and goals as lifted versions of these subgoals. The result is that the latter two successfully learn general policies on large planning instances with sparse rewards by automatically creating a curriculum of easier goals of increasing complexity. The experiments illustrate the computational gains of these versions, their limitations, and opportunities for addressing them.
• Abstract（参考訳）: 第一次リレーショナル言語は、MDP計画と強化学習(RL)において、コンパクトな形式でのMDPの指定と、特定のインスタンスや状態空間に縛られない一般的なポリシーの表現と学習の2つの目的に使用されている。 本研究では,目標条件付きRLと一般化計画における一階言語の利用を検討する。 問題は、トレーニングインスタンスが大きく、ランダムな探索だけでゴールに到達できない場合に、どのようにゴール条件付きおよび一般的なポリシーを学ぶかである。 Hindsight Experience Replay(HER)のテクニックは、この疑問に対する答えを提供する。 目標ポリシーが国家と目標をまたいで一般化する必要がある場合、本来の目標状態に到達しない軌道は、より多くのデータと時間効率の学習を可能にする。 本研究では、状態と目標が原子の集合で表される場合、さらなる性能向上が達成できることを示す。 目標を完全な状態として、目標を元の目標のサブセットとして、目標をこれらのサブゴールのリフトバージョンとして、という3つのバージョンを考えます。 その結果、2人は複雑さを増すための簡単な目標のカリキュラムを自動で作成することで、まばらな報酬で大規模なプランニングインスタンスの一般的なポリシーを学習することに成功した。 実験では、これらのバージョンの計算的利益、それらの制限、それに対処する機会が説明されている。

関連論文リスト

• Horizon Generalization in Reinforcement Learning [22.372738655730107]
  一般化のレンズを通してゴール条件付きRLを研究するが、従来のランダム拡張とドメインランダム化の意味ではそうではない。 地平線一般化の概念は計画の不変性と密接に関連していることを示す。 目標に向かって航行する政策は、その目標に向かう途中のルートポイントに向かっているように、同じ行動を選択する。したがって、近くの目標に到達するために訓練された政策は、任意に距離を置く目標に達することに成功すべきである。
  論文  参考訳（メタデータ） (2025-01-06T01:42:46Z)
• HIQL: Offline Goal-Conditioned RL with Latent States as Actions [81.67963770528753]
  オフラインデータからゴール条件付きRLの階層的アルゴリズムを提案する。 この階層的な分解によって、推定値関数のノイズに頑健になることを示す。 提案手法は,従来の手法を巧みに操り,高次元画像観察にスケールできるとともに,アクションフリーなデータを容易に利用することができる。
  論文  参考訳（メタデータ） (2023-07-22T00:17:36Z)
• Imitating Graph-Based Planning with Goal-Conditioned Policies [72.61631088613048]
  本稿では,目標目標条件ポリシにサブゴール条件ポリシを蒸留する自己シミュレーション方式を提案する。 提案手法は,既存の目標条件付きRL手法のサンプル効率を大幅に向上させることができることを実証的に示す。
  論文  参考訳（メタデータ） (2023-03-20T14:51:10Z)
• Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in Latent Space [76.46113138484947]
  汎用ロボットは、現実世界の非構造環境において困難なタスクを完了するために、多様な行動レパートリーを必要とする。 この問題に対処するため、目標条件強化学習は、コマンド上の幅広いタスクの目標に到達可能なポリシーを取得することを目的としている。 本研究では,長期的課題に対する目標条件付き政策を実践的に訓練する手法であるPlanning to Practiceを提案する。
  論文  参考訳（メタデータ） (2022-05-17T06:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。