論文の概要: ChronoSRL: Temporal Geometry for Self-Supervised Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2609.36238v1
- Date: Mon, 28 Sep 2026 20:32:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.004175
- Title: ChronoSRL: Temporal Geometry for Self-Supervised Reinforcement Learning
- Title（参考訳）: ChronoSRL:自己監督型強化学習のための時間幾何学
- Abstract要約: 我々はChronoSRLを導入し、批評家の埋め込みを時間幾何学的に明示する。
状態アクションとゴール埋め込みの間の距離は、エージェントがゴールに到達するのに要する時間と一致するように訓練される。
我々は、生存強化学習に基づいて、目標達成時間の完全な分布だけでなく、目標に近い時間も予測する。
- 参考スコア（独自算出の注目度）: 16.640420524594443
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A goal that is close in space can be far away in time. Obstacles, terrain, and the agent's own capabilities determine how long it takes to get there. Yet, critics in contrastive and survival reinforcement learning do not measure the distances in their representation space in units of time. We therefore introduce ChronoSRL, which gives the critic's embeddings an explicit temporal geometry. The distance between state-action and goal embeddings is trained to match the time that the agent takes to reach the goal (goal-reaching time), while goals that were not reached, and goals from other trajectories, are pushed at least one discount horizon away. Furthermore, reaching a goal quickly once does not mean that reaching it is reliable in general, so the policy should not follow the temporal distance directly. Instead, we build on survival reinforcement learning and predict from our temporal embeddings not only the full distribution of goal-reaching times but also the time spent near the goal. Thereby, the policy is trained to favor actions that reach the goal sooner and more reliably and that keep the agent near it. ChronoSRL learns faster and reaches higher performance than contrastive, action-chunked contrastive, and survival reinforcement learning baselines on seven standard locomotion and navigation benchmarks, even with much smaller networks. To test the limits of self-supervised reinforcement learning, we introduce velocity tracking, goal-position reaching, and box climbing tasks with a quadruped robot in a realistic sim-to-real locomotion setup, and show how the shaping terms that are typical for robotics can be naturally incorporated into our framework. ChronoSRL is the only one of the tested self-supervised reinforcement learning methods that learns to stay at the commanded velocities and goal positions, and climbs the highest boxes.
- Abstract（参考訳）: 宇宙に近づいているゴールは、時間内に遠く離れる可能性がある。
障害物、地形、そしてエージェント自身の能力は、そこに到達するのにどのくらいかかるかを決定する。
しかし、コントラストとサバイバル強化学習の批判者は、表現空間における距離を時間単位で測定しない。
したがって、ChronoSRLを導入し、批評家の埋め込みに明確な時間幾何学を与える。
状態行動とゴール埋め込みの間の距離は、エージェントがゴールに達するのにかかる時間(ゴール到達時間)と一致するように訓練され、到達していないゴールと他の軌道からのゴールは少なくとも1つの割引地平線から押し出されます。
また、目標を素早く達成することは一般に信頼性が高いという意味ではないため、政策は時間的距離を直接従うべきではない。
代わりに、サバイバル強化学習に基づいて、目標達成時間の完全な分布だけでなく、目標に近い時間も予測します。
これにより、ポリシーは、目標を素早く、より確実に達成し、エージェントをその近くに保持する行動を支持するように訓練される。
ChronoSRLはコントラスト、アクションチョーク、サバイバル強化学習ベースラインよりも高速に学習し、はるかに小さなネットワークでも7つの標準移動とナビゲーションのベンチマークをベースラインとする。
自己指導型強化学習の限界をテストするため、現実的なシミュレート・トゥ・リアルなロコモーション設定において、四足歩行ロボットによる速度トラッキング、ゴールポジションリーチ、ボックスクライミングタスクを導入し、ロボット工学に典型的な造形用語を自然に組み込む方法を示す。
クロノSRLは、指示された速度と目標位置にとどまることを学び、最も高い箱を登る、自己指導型強化学習法のうち、唯一テストされたものである。
関連論文リスト
- Aspire: Can Models Self-Evolve from Vague Goals? [61.65007006747275]
我々はあいまいなゴール駆動型自己進化のベンチマークであるASPIREを紹介する。
ASPIREは、統一された対話環境におけるモデルウェイトとエージェントハーネスの進化をサポートする。
実験の結果,曖昧な目標が探索努力を目標解釈に向けることが示唆された。
論文 参考訳（メタデータ） (2026-08-31T17:14:59Z) - Spatiotemporal Agility: Time-Constrained Reinforcement Learning for Vision-Guided Dynamic Quadrupedal Interception [3.372164928871513]
脚のあるロボットは、複雑で動的な環境を知覚し、相互作用するために、堅牢な俊敏性を必要とします。
既存の四足歩行の作業の多くは、厳密な時間的制約の中で正確な目標に到達するのに苦労する速度追跡ポリシーに依存している。
本稿では,着陸地点と時間予測のための視覚モジュールと直接位置と時間条件のRLロコモーションポリシを組み合わせた統合フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-07T07:42:19Z) - PRTS: A Primitive Reasoning and Tasking System via Contrastive Representations [66.94988600664574]
我々は,目標達成型強化学習を通じて事前学習を再構築するVLA基盤モデルであるtextbfPRTS(textbfPrimitive textbfReasoning and textbfTasking textbfSystem)を提案する。
論文 参考訳（メタデータ） (2026-04-30T06:14:02Z) - SmoothTurn: Learning to Turn Smoothly for Agile Navigation with Quadrupedal Robots [24.152874093727153]
四足歩行ロボットは、火災救助や産業検査のような価値ある現実世界の応用に大きな可能性を秘めている。
既存のアジャイルナビゲーションのアプローチでは、ロボットが到達した後に目標位置に留まるよう促すことで、単一ゴールのリーチポリシーを学ぶのが一般的である。
学習ベースのコントロールフレームワークであるSmoothTurnを紹介します。
論文 参考訳（メタデータ） (2026-03-13T09:44:33Z) - Gait-Adaptive Perceptive Humanoid Locomotion with Real-Time Under-Base Terrain Reconstruction [86.53248703859718]
本研究では,地形認識,歩行制御,全身制御を一つの強化学習ポリシーにマージする知覚的移動フレームワークを提案する。
31-DoF、1.65mのヒューマノイドロボットによる実験は、シミュレーションと実世界の両方で堅牢な移動を実証している。
論文 参考訳（メタデータ） (2025-12-08T11:42:41Z) - Zero-Shot Offline Imitation Learning via Optimal Transport [21.548195072895517]
ゼロショットの模倣学習アルゴリズムは、テスト時にたった1つのデモから、目に見えない振る舞いを再現する。
既存の実践的なアプローチでは、専門家のデモンストレーションを一連の目標と見なし、ハイレベルなゴールセレクタと低レベルなゴール条件のポリシーで模倣を可能にする。
そこで本研究では,模倣学習に固有の占領目標を直接最適化することにより,この問題を緩和する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-10-11T12:10:51Z) - Advanced Skills by Learning Locomotion and Local Navigation End-to-End [10.872193480485596]
本研究は, 深層強化学習によるエンドツーエンド政策の訓練により, 完全な問題を解決することを提案する。
実際の四足歩行ロボットにおけるポリシーの展開を実演する。
論文 参考訳（メタデータ） (2022-09-26T16:35:00Z) - Bisimulation Makes Analogies in Goal-Conditioned Reinforcement Learning [71.52722621691365]
リッチな観測から汎用的な目標条件エージェントを構築することは、実世界の問題を解決するための強化学習(RL)の鍵となる。
目的条件ビシミュレーションと呼ばれる新しい状態抽象化法を提案する。
この抽象概念の計量形式を用いてこの表現を学習し、シミュレーション操作タスクにおける新しい目標に一般化する能力を示す。
論文 参考訳（メタデータ） (2022-04-27T17:00:11Z) - Learning for Visual Navigation by Imagining the Success [66.99810227193196]
我々は,成功(下位)ゴーナル状態の潜在表現を想像することを提案する。
ForeSITは、成功につながる将来の状態の繰り返しの潜在表現を想像するように訓練されています。
ForeSITをオンポリシーでトレーニングし、RL目標に統合するための効率的な学習アルゴリズムを開発しています。
論文 参考訳（メタデータ） (2021-02-28T10:25:46Z) - Automatic Curriculum Learning through Value Disagreement [95.19299356298876]
新しい未解決タスクを継続的に解決することが、多様な行動を学ぶための鍵です。
エージェントが複数の目標を達成する必要があるマルチタスク領域では、トレーニング目標の選択はサンプル効率に大きな影響を与える可能性がある。
そこで我々は,エージェントが解決すべき目標のための自動カリキュラムを作成することを提案する。
提案手法は,13のマルチゴールロボットタスクと5つのナビゲーションタスクにまたがって評価し,現在の最先端手法よりも高い性能を示す。
論文 参考訳（メタデータ） (2020-06-17T03:58:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。