論文の概要: First-Order Representation Languages for Goal-Conditioned RL

• arxiv url: http://arxiv.org/abs/2512.19355v1
• Date: Mon, 22 Dec 2025 12:54:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-23 18:54:32.757937
• Title: First-Order Representation Languages for Goal-Conditioned RL
• Title（参考訳）: ゴールコンディション付きRLのための一階表現言語
• Authors: Simon Ståhlberg, Hector Geffner,
• Abstract要約: 目標条件付きRLと一般化計画における一階述語の使用を検討する。 問題は、トレーニングインスタンスが大きい場合、目標条件付きおよび一般的なポリシーをどのように学習するかだ。 状態と目標が原子の集合で表されるとき、さらなる性能向上が達成できることを示す。
• 参考スコア（独自算出の注目度）: 8.89493507314525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: First-order relational languages have been used in MDP planning and reinforcement learning (RL) for two main purposes: specifying MDPs in compact form, and representing and learning policies that are general and not tied to specific instances or state spaces. In this work, we instead consider the use of first-order languages in goal-conditioned RL and generalized planning. The question is how to learn goal-conditioned and general policies when the training instances are large and the goal cannot be reached by random exploration alone. The technique of Hindsight Experience Replay (HER) provides an answer to this question: it relabels unsuccessful trajectories as successful ones by replacing the original goal with one that was actually achieved. If the target policy must generalize across states and goals, trajectories that do not reach the original goal states can enable more data- and time-efficient learning. In this work, we show that further performance gains can be achieved when states and goals are represented by sets of atoms. We consider three versions: goals as full states, goals as subsets of the original goals, and goals as lifted versions of these subgoals. The result is that the latter two successfully learn general policies on large planning instances with sparse rewards by automatically creating a curriculum of easier goals of increasing complexity. The experiments illustrate the computational gains of these versions, their limitations, and opportunities for addressing them.
• Abstract（参考訳）: 第一次リレーショナル言語は、MDP計画と強化学習(RL)において、コンパクトな形式でのMDPの指定と、特定のインスタンスや状態空間に縛られない一般的なポリシーの表現と学習の2つの目的に使用されている。 本研究では,目標条件付きRLと一般化計画における一階言語の利用を検討する。 問題は、トレーニングインスタンスが大きく、ランダムな探索だけでゴールに到達できない場合に、どのようにゴール条件付きおよび一般的なポリシーを学ぶかである。 Hindsight Experience Replay(HER)のテクニックは、この疑問に対する答えを提供する。 目標ポリシーが国家と目標をまたいで一般化する必要がある場合、本来の目標状態に到達しない軌道は、より多くのデータと時間効率の学習を可能にする。 本研究では、状態と目標が原子の集合で表される場合、さらなる性能向上が達成できることを示す。 目標を完全な状態として、目標を元の目標のサブセットとして、目標をこれらのサブゴールのリフトバージョンとして、という3つのバージョンを考えます。 その結果、2人は複雑さを増すための簡単な目標のカリキュラムを自動で作成することで、まばらな報酬で大規模なプランニングインスタンスの一般的なポリシーを学習することに成功した。 実験では、これらのバージョンの計算的利益、それらの制限、それに対処する機会が説明されている。

関連論文リスト

• Efficient Alignment of Unconditioned Action Prior for Language-conditioned Pick and Place in Clutter [59.69563889773648]
  本研究では,ロボットが対象物を開き散らかし,特定の場所に移動させるという,言語条件のピック・アンド・プレイス作業について検討する。 いくつかのアプローチは、ビジョンファウンデーションモデルから機能を使ってエンドツーエンドのポリシーを学び、大きなデータセットを必要とする。 本研究では,無条件動作先行と3次元視覚言語先行とを1つの注意層から学習することで協調する行動先行アライメント手法を提案する。
  論文  参考訳（メタデータ） (2025-03-12T14:20:33Z)
• Horizon Generalization in Reinforcement Learning [22.372738655730107]
  一般化のレンズを通してゴール条件付きRLを研究するが、従来のランダム拡張とドメインランダム化の意味ではそうではない。 地平線一般化の概念は計画の不変性と密接に関連していることを示す。 目標に向かって航行する政策は、その目標に向かう途中のルートポイントに向かっているように、同じ行動を選択する。したがって、近くの目標に到達するために訓練された政策は、任意に距離を置く目標に達することに成功すべきである。
  論文  参考訳（メタデータ） (2025-01-06T01:42:46Z)
• GOPlan: Goal-conditioned Offline Reinforcement Learning by Planning with Learned Models [31.628341050846768]
  ゴール条件付きオフライン計画(GOPlan)は、2つの重要なフェーズを含む新しいモデルベースのフレームワークである。 GOPlanは、マルチゴールデータセット内のマルチモーダルアクション分布をキャプチャ可能な事前ポリシーを事前トレーニングする。 本手法は,軌道内目標と軌道間目標の両方の学習モデルを用いて,高品質な仮想データを生成する。
  論文  参考訳（メタデータ） (2023-10-30T21:19:52Z)
• HIQL: Offline Goal-Conditioned RL with Latent States as Actions [81.67963770528753]
  オフラインデータからゴール条件付きRLの階層的アルゴリズムを提案する。 この階層的な分解によって、推定値関数のノイズに頑健になることを示す。 提案手法は,従来の手法を巧みに操り,高次元画像観察にスケールできるとともに,アクションフリーなデータを容易に利用することができる。
  論文  参考訳（メタデータ） (2023-07-22T00:17:36Z)
• Imitating Graph-Based Planning with Goal-Conditioned Policies [72.61631088613048]
  本稿では,目標目標条件ポリシにサブゴール条件ポリシを蒸留する自己シミュレーション方式を提案する。 提案手法は,既存の目標条件付きRL手法のサンプル効率を大幅に向上させることができることを実証的に示す。
  論文  参考訳（メタデータ） (2023-03-20T14:51:10Z)
• Discrete Factorial Representations as an Abstraction for Goal Conditioned Reinforcement Learning [99.38163119531745]
  離散化ボトルネックを適用することにより,目標条件付きRLセットアップの性能が向上することを示す。 分布外目標に対する期待した回帰を実験的に証明し、同時に表現的な構造で目標を指定できるようにします。
  論文  参考訳（メタデータ） (2022-11-01T03:31:43Z)
• Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in Latent Space [76.46113138484947]
  汎用ロボットは、現実世界の非構造環境において困難なタスクを完了するために、多様な行動レパートリーを必要とする。 この問題に対処するため、目標条件強化学習は、コマンド上の幅広いタスクの目標に到達可能なポリシーを取得することを目的としている。 本研究では,長期的課題に対する目標条件付き政策を実践的に訓練する手法であるPlanning to Practiceを提案する。
  論文  参考訳（メタデータ） (2022-05-17T06:58:17Z)
• Bisimulation Makes Analogies in Goal-Conditioned Reinforcement Learning [71.52722621691365]
  リッチな観測から汎用的な目標条件エージェントを構築することは、実世界の問題を解決するための強化学習(RL)の鍵となる。 目的条件ビシミュレーションと呼ばれる新しい状態抽象化法を提案する。 この抽象概念の計量形式を用いてこの表現を学習し、シミュレーション操作タスクにおける新しい目標に一般化する能力を示す。
  論文  参考訳（メタデータ） (2022-04-27T17:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。