論文の概要: Learning Multiple Timescales for Goal-Conditioned Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.00849v1
• Date: Thu, 01 Oct 2026 00:06:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.813308
• Title: Learning Multiple Timescales for Goal-Conditioned Reinforcement Learning
• Title（参考訳）: ゴール・コンディション強化学習のための複数の時間尺度の学習
• Abstract要約: Generalized Implicit Temporal Abstraction (GITA)は、複数のk値にまたがってアドバンテージ重み付けされた監視を集約することで、一つのポリシーを訓練する。 GITAは局所分解能と長距離信号のどちらかを選択する必要はない。
• 参考スコア（独自算出の注目度）: 11.721118975980799
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing approaches to offline goal-conditioned reinforcement learning (GCRL) struggle with long-horizon tasks. Discounting shrinks value differences between distant states until they fall below the function approximation error, leaving the agent with no signal for ranking states. Temporal abstraction, which treats k environment steps as a single transition, restores this signal at long range, but no single fixed k suits all state-goal distances: large k preserves value differences across long temporal distances while collapsing distinctions between nearby states, and small k does the reverse. We make this trade-off explicit and introduce Generalized Implicit Temporal Abstraction (GITA), which conditions a single value function on k. GITA trains one policy by aggregating advantage-weighted supervision across multiple k values, so scales assigning larger positive advantages to a state-goal pair contribute more strongly to its update. GITA does not need to choose between local resolution and long-range signal; it retains both without committing to a single k. On OGBench, GITA outperforms a broad range of offline GCRL baselines, raising average success rate across all tasks by 25 percentage points (73% relative improvement) over HIQL. It also improves over the strongest fixed-k method, OTA, by 7 percentage points (14% relative).
• Abstract（参考訳）: オフライン目標条件強化学習(GCRL)への既存のアプローチは、長期的タスクに苦しむ。 分散は、関数近似誤差以下になるまで遠い状態間の値の差を小さくし、エージェントはランク付け状態のシグナルを残さない。 k の環境ステップを1つの遷移として扱う時間的抽象化は、この信号を長距離で復元するが、すべての状態目標距離に適合する固定 k は存在しない。 このトレードオフを明確化し、k 上の単一値関数を条件とした一般化インプリシット時間抽象(GITA)を導入する。 GITAは、複数のk値にまたがって有利に重み付けされた監督を集約することで、一つのポリシーを訓練する。 GITAは局所分解能と長距離信号のどちらかを選択する必要はない。 OGBenchでは、GITAは幅広いオフラインGCRLベースラインを上回り、HIQLよりも25パーセント(相対改善率73%)の成功率を高めている。 また、最強の固定K法であるOTAを7ポイント(相対14%)改善する。

関連論文リスト

• GTRL: Grounding Divide-and-Conquer Value Learning with Temporal Differences [0.31984926651189866]
  オフラインのゴール条件強化学習では、分割とコンカーは2つの短いセグメントをサブゴールで結合することで長い水平線にスケールする。 我々は,1ステップのTDターゲットで分割・参照更新を行うオフラインGCRL値学習アルゴリズムであるGlated Transitive RL(GTRL)を提案する。 GTRLはこのターゲットを置き換えるのではなく、コンポジションに追加するので、各ペアは更新を受け取り、コンポジションは依然として長い水平線を担っている。
  論文  参考訳（メタデータ） (2026-09-27T06:00:10Z)
• RynnValue: Scaling Robotic Value Foundation Models with Temporal Distance [84.26294415726723]
  汎用報酬モデルが、ロボット学習のスケーリングのボトルネックになりつつある。 ロボット操作のためのオープンソースのバリューファンデーションモデルであるRynnValueを紹介した。 RynnValueは7000時間以上、好みやプログレッシブアノテーションなしで約3Mの命令条件付きクリップにスケールする。
  論文  参考訳（メタデータ） (2026-08-10T17:09:37Z)
• CORA-Diff: Confidence-Oriented Residual Acceptance for Efficient Diffusion Language Model Inference [24.176666448303095]
  拡散言語モデルは、多くのトークンを並列に更新するが、実用的なデコーダは、しばしば固定されたdenoising horizonを使用する。 本研究では,CORA-Diffを提案する。CORA-Diffは,元のトランスファールールを保護し,ルールが未解決な位置にのみ信頼とパーシステンスをゲーティングする訓練自由法である。 その結果,タスク品質を保ったままの繰り返し認知を低減し,信頼感と持続性が確実な残留受容を可能にすることが示唆された。
  論文  参考訳（メタデータ） (2026-07-31T07:32:10Z)
• DAGR: State-Conditioned Goal Representations via Difference-Aware Goal Cross-Attention [31.225386130088676]
  DAGRは、遅延核融合エンコーダの静的な埋め込みを、マルチスケールのゲートクロスアテンションにより、状態条件のものに洗練する。 OGBench では DAGR によるナビゲーションの改善が図られている。
  論文  参考訳（メタデータ） (2026-07-15T11:45:31Z)
• Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning [85.02566758103008]
  Group-Graph Policy Optimization (G2PO) は、マルチターンエージェントタスクに適したグループベースの強化学習アルゴリズムである。 G2POは最先端のプロンプトベースとRLベースラインを大幅に上回り、GRPOよりも最大22.2%の成功率の向上を達成した。
  論文  参考訳（メタデータ） (2026-06-22T08:12:47Z)
• Adaptive Coarse-to-Fine Subgoal Refinement for Long-Horizon Offline Goal-Conditioned Reinforcement Learning [16.15046948057208]
  我々は,実行前に遠隔目標を適応的に洗練する完全オフライン目標条件強化学習フレームワークを提案する。 OGBenchの実験は、提案された改善と停止機構を検証し、いくつかの長期的タスクに対してかなりの効果を示した。
  論文  参考訳（メタデータ） (2026-05-27T08:17:01Z)
• HIQL: Offline Goal-Conditioned RL with Latent States as Actions [81.67963770528753]
  オフラインデータからゴール条件付きRLの階層的アルゴリズムを提案する。 この階層的な分解によって、推定値関数のノイズに頑健になることを示す。 提案手法は,従来の手法を巧みに操り,高次元画像観察にスケールできるとともに,アクションフリーなデータを容易に利用することができる。
  論文  参考訳（メタデータ） (2023-07-22T00:17:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。