論文の概要: RoboLongR: Causally Consistent Rewards Teach Robots to Progressively Master Long-Horizon Manipulation
- arxiv url: http://arxiv.org/abs/2610.33863v1
- Date: Sat, 24 Oct 2026 19:07:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.472339
- Title: RoboLongR: Causally Consistent Rewards Teach Robots to Progressively Master Long-Horizon Manipulation
- Title(参考訳): RoboLongR:ロボットが長距離操作をプログレッシブにマスターする、因果一貫性のあるリワード
- Abstract要約: ロングホライゾン操作は、以前の相互作用に依存している行動を必要とするが、視覚的な進歩は、タスクの前提条件の欠如を隠蔽する可能性がある。
我々は,新しいタスクへのポリシー適応を導くために,履歴に依存した報酬を学習するオフライン-オンラインフレームワークであるRoboLongRを提案する。
- 参考スコア(独自算出の注目度): 27.89512166525044
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-horizon manipulation requires actions whose validity depends on earlier interactions, yet visual progress can conceal missing task prerequisites. We propose RoboLongR, an offline-to-online framework that learns history-dependent rewards to guide policy adaptation to new tasks. Its central objective is causal consistency: aligning rewarded progress with prerequisites supported by execution history. Stage-shuffle supervision encourages execution-order sensitivity, recurrent memory preserves evidence of earlier interactions, and two-round training refines trajectory segments using predicted progress. The resulting rewards guide stage-conditioned policy refinement from behavior cloning to online reinforcement learning. Sparse terminal feedback connects policy experience to reward learning by triggering correction for repeated high-scoring failures. Pretrained on demonstrations from 88 RLBench tasks and Open-X data, RoboLongR achieves 31.8% average success on 18 long-horizon tasks excluded from reward pretraining, exceeding the strongest evaluated baseline by 9.2 percentage points. Across four real-robot tasks, it achieves 57.5% success, a 32.5-percentage-point improvement over the comparison method. Reward-level controls probe sensitivity to synthetic order perturbations, while ablations examine the contributions of individual components to policy improvement.
- Abstract(参考訳): ロングホライゾン操作は、以前の相互作用に依存している行動を必要とするが、視覚的な進歩は、タスクの前提条件の欠如を隠蔽する可能性がある。
我々は,新しいタスクへのポリシー適応を導くために,履歴に依存した報酬を学習するオフライン-オンラインフレームワークであるRoboLongRを提案する。
主な目的は因果一貫性であり、報酬付き進捗を実行履歴によってサポートされている前提条件に整合させることである。
ステージシャッフル・インスペクションは実行順序の感度を奨励し、再帰記憶は初期の相互作用の証拠を保存し、2ラウンドトレーニングは予測された進歩を用いて軌道セグメントを洗練する。
その結果得られた報酬は、行動のクローン化からオンライン強化学習まで、段階的な政策改善を導く。
スパース端末フィードバックは、繰り返し発生するハイスコア障害の修正をトリガーすることで、ポリシー体験と報奨学習を結びつける。
88のRLBenchタスクとOpen-XデータからプレトレーニングされたRoboLongRは、報酬事前訓練から除外された18のロングホライゾンタスクで平均31.8%の成功を達成し、評価ベースラインを9.2%上回った。
4つの実ロボットタスクで57.5%の成功を達成し、比較法よりも32.5パーセント改善した。
Reward-level control probe sensitivity to synthetic order perturbation, ablations examine the contributions of individual components to policy improve。
関連論文リスト
- Predictive Long-Horizon Progress Modeling with Action-Aware Quantification [7.021968033191757]
アクション対応量子化(Action-Aware Quantification)は、長い水平軌道をオブジェクトレベルのサブタスクに分解する統一された進歩仕様である。
我々は、ジョイント・ビデオ・プログレス・ラーニングによって訓練された予測的進歩批評家であるNimCriticを紹介した。
NimCritic は、確立された Video Progress Benchmark (VPB) と LOOM で、最先端のプロセス報酬モデル (PRM) に適合する。
論文 参考訳(メタデータ) (2026-10-23T15:25:06Z) - Not All Actions Contribute Equally: Learning Precise Progress Estimation from Imprecise Demonstrations [52.85692927198773]
本研究では,不正確な実演から精度の高い進捗推定を学習できる新しい進捗推定器PRIMEを提案する。
PRIMEは多種多様なタスクに対して一貫して有効であり、様々な準最適度を持つデータに対して堅牢であることを示す。
特に、PRIMEの利点は、より高精度なシナリオでより顕著になり、政策の成功率を最大5倍に向上させる。
論文 参考訳(メタデータ) (2026-10-16T17:07:39Z) - Robota-Embed: Unified VLA Embeddings for Robot In-Context Learning and Evolution [90.448613284096]
ロボット・エンベッド(Robota-Embed)を導入し、現在のクエリと記録された将来の継続の両方において、3つのモダリティを共同で符号化する最初の視覚言語アクション埋め込みモデルについて紹介する。
我々は,1,695,684個のトレーニングアンカーを複数ソースで構築し,4000のクエリと8000のギャラリーの共有を備えたRobota-Embed-Benchを紹介した。
Robota-Embedは47.33%のクリップレベルと81.77%のエピソードレベルのR@1を達成した。
論文 参考訳(メタデータ) (2026-10-14T03:15:23Z) - LoopWAM: Closed-Loop Generalist Policy Improvement from Deployment Rollouts [56.21252928632393]
LoopWAMは、現実世界のロールアウトから直接学習するクローズドループの世界アクションモデルである。
音源依存ノイズサンプリングは行動学習と行動条件付き世界モデリングを統合する。
ビデオトークンとアクショントークンは並列denoisingを通じて相互作用し、学習結果がアクション生成を直接通知する。
論文 参考訳(メタデータ) (2026-10-13T17:59:56Z) - Stable and Efficient Real-World Online VLA Post-Training via Asynchronous Replay-Anchored Policy Improvement [60.83624556700821]
本稿では,リプレイ動作における批評家とアクターの更新の両方を基盤として,ロールアウトと学習を同時に行うフレームワークを提案する。
RAPolicyを4つのシングルタスク設定と1つのジョイント5タスク設定で実世界で評価し,オンライントレーニングの予算は1~2時間に過ぎなかった。
論文 参考訳(メタデータ) (2026-09-19T08:45:18Z) - Recursive Experiential-Working Memory Evolution for Long-Horizon Agent Harnesses [83.32611586724165]
Recurisは、ロングホライゾンエージェントハーネスのためのExperiential-Working Memoryアーキテクチャである。
Work Memoryはタスクの進捗を追跡し、Experiential Memoryからスキル選択をガイドする。
4つのロングホライズンベンチマークと10のモデルでRecurisは37のモデルベンチマークペアのうち35のタスク成功を改善している。
論文 参考訳(メタデータ) (2026-08-25T17:56:35Z) - PALM: Progress-Aware Policy Learning via Affordance Reasoning for Long-Horizon Robotic Manipulation [27.791908160098625]
PALMは、インタラクション中心のアベイランス推論とサブタスクプログレスキューに関するポリシー学習を構築する。
Palmはシミュレーションや実世界の実験において、一貫してベースラインを上回っている。
論文 参考訳(メタデータ) (2026-01-11T21:00:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。