論文の概要: Dream to Remember: Continual Steering of Generalist Robot Policies with World Models

• arxiv url: http://arxiv.org/abs/2610.13816v1
• Date: Fri, 09 Oct 2026 16:28:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.686283
• Title: Dream to Remember: Continual Steering of Generalist Robot Policies with World Models
• Title（参考訳）: 世界モデルによるジェネラリストロボット政策の継続的なステアリング
• Abstract要約: ジェネラリストロボットポリシーは模倣学習で訓練されている。 タスクの微調整は以前のタスクを劣化させ、ステアリングは共有ステアリングモジュールを忘れることだけをシフトさせる。 我々は、新しいタスクに対して凍結したジェネラリスト政策を継続的に推進し、その以前のスキルを維持しながら、Dream to Rememberを提案する。
• 参考スコア（独自算出の注目度）: 14.5174011141752
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalist robot policies are trained with imitation learning and are bounded by the quality and coverage of their demonstrations. Reinforcement learning can improve and extend them, either by fine-tuning the policy weights or by training a small module to steer the input noise of a frozen generative policy. When tasks arrive sequentially, both approaches suffer from catastrophic forgetting. Fine-tuning on a task degrades prior tasks, and steering only shifts forgetting to the shared steering module. We propose Dream to Remember (D2R), which continually steers a frozen generalist policy toward new tasks, while retaining its earlier skills. As the steering module learns a new task, a frozen pretrained world model rehearses prior tasks through imagined rollouts, anchoring the module to its earlier behavior without a replay buffer or new data. When the world model is faithful enough, D2R learns the new task entirely in imagination. Otherwise, it learns the task in the environment while using the world model only to rehearse prior tasks. On CALVIN, D2R improves eight tasks in sequence entirely in imagination, raising average success from 63.7% to 74.8%, while LoRA fine-tuning on the same sequence drops it to 11.7%. With a frozen off-the-shelf generalist policy and world model, $π_0$ and A2World, D2R learns unseen LIBERO-90 tasks in the environment while keeping $π_0$'s performance on the LIBERO suites it was fine-tuned on, even though the world model is not accurate enough for policy optimization. Finally, on a real Franka robot, D2R improves three tasks in sequence entirely in imagination while retaining the earlier improvements.
• Abstract（参考訳）: ジェネラリストロボットポリシーは模倣学習で訓練され、デモの質とカバレッジに縛られている。 強化学習は、ポリシーウェイトを微調整するか、あるいは凍結した生成ポリシーの入力ノイズを操縦するために小さなモジュールを訓練することによって、それらを改善および拡張することができる。 タスクが順次到着すると、どちらのアプローチも破滅的な忘れに苦しむ。 タスクの微調整は以前のタスクを劣化させ、ステアリングは共有ステアリングモジュールを忘れることだけをシフトさせる。 我々は、新しいタスクに対して凍結したジェネラリスト政策を継続的に推進し、その以前のスキルを維持しながら、Dream to Remember (D2R)を提案する。 ステアリングモジュールが新しいタスクを学習すると、凍結したワールドモデルは、想像上のロールアウトを通じて以前のタスクをリハーサルし、リプレイバッファや新しいデータなしでモジュールを以前の動作に固定する。 世界モデルが十分に忠実であるとき、D2Rは新たなタスクを完全に想像力で学習する。 さもなければ、ワールドモデルを使用して以前のタスクのみをリハーサルしながら、環境内のタスクを学習する。 CALVINでは、D2Rは8つのタスクを完全にイマジネーションで改善し、平均的な成功率は63.7%から74.8%に上昇する一方、LoRAの微調整は11.7%に低下する。 市販の一般政策と世界モデルである$π_0$とA2Worldにより、D2Rは、ポリシー最適化に十分な正確性がないにもかかわらず、細調整されたLIBEROスイート上での$π_0$のパフォーマンスを維持しながら、環境中の未知のLIBERO-90タスクを学習する。 最後に、本物のフランカのロボットでは、D2Rは以前の改善を維持しながら、完全に想像力で3つのタスクを連続的に改善する。

関連論文リスト

• Mulligan: Performance-Guided Data Collection for Efficient On-Robot Learning [49.96968347002295]
  人間のデモから学ぶことは、ロボットに新しいタスクを教えるための信頼できる方法だが、ポリシーが改善するにつれて、追加のデモから得られる利益は減少する。 我々は、高精度な操作タスクにおいて、監督エピソードの固定予算から改善を最大化する方法を問う。 フェールが初期状態の小さなサブセットに集中できることを観察するため、均一なコレクションは、ポリシーがすでに処理している状態にオペレータの時間の大部分を費やします。
  論文  参考訳（メタデータ） (2026-10-05T06:56:13Z)
• Reinforcing VLAs in Task-Agnostic World Models [15.056103368344596]
  強化学習(RL)による後学習型ビジョン・ランゲージ・アクション(VLA)モデルは、コストのかかる実世界の相互作用を伴わずに新しいタスクに適応するための効果的な戦略として登場した。 我々は、世界と報酬モデルがゼロショット推論を可能にする転送可能な物理的事前をキャプチャすべきであると主張している。 我々は、下流のタスク依存から世界モデル学習を完全に切り離す新しいパラダイムであるRAW-Dreamを提案する。
  論文  参考訳（メタデータ） (2026-05-12T16:16:15Z)
• Hi-WM: Human-in-the-World-Model for Scalable Robot Post-Training [54.896907620476675]
  本稿では,学習世界モデルを用いた学習後学習フレームワークを提案する。 Hi-WMは中間状態をキャッシュし、ロールバックとブランチをサポートする。 我々は、剛性と変形性のあるオブジェクト相互作用と2つのポリシーバックボーンにまたがる3つの実世界の操作タスクについて、Hi-WMを評価する。
  論文  参考訳（メタデータ） (2026-04-23T14:42:54Z)
• FLaRe: Achieving Masterful and Adaptive Robot Policies with Large-Scale Reinforcement Learning Fine-Tuning [74.25049012472502]
  FLaReは、堅牢な事前訓練された表現、大規模なトレーニング、勾配安定化技術を統合する大規模な強化学習フレームワークである。 提案手法は,タスク完了に向けた事前訓練されたポリシーを整列し,これまで実証され,全く新しいタスクや実施状況において,最先端(SoTA)のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-09-25T03:15:17Z)
• Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning [58.3994826169858]
  ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。 我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。 提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
  論文  参考訳（メタデータ） (2023-10-23T17:50:08Z)
• Learning to Modulate pre-trained Models in RL [22.812215561012874]
  訓練済みモデルの微調整は、しばしば破滅的な忘れ込みに悩まされる。 本研究は、ほとんどの微調整アプローチにおいて、事前学習タスクのパフォーマンスが著しく低下していることを示す。 凍結事前学習モデルの情報フローを変調することにより,学習スキルの劣化を回避する新しい手法L2Mを提案する。
  論文  参考訳（メタデータ） (2023-06-26T17:53:05Z)
• The Effectiveness of World Models for Continual Reinforcement Learning [19.796589322975017]
  選択的な経験リプレイ手法がパフォーマンス, 忘れ, 移動に与える影響について検討する。 Continual-Dreamerはサンプル効率が高く、MinigridおよびMinihackベンチマーク上で、最先端のタスク非依存の継続的強化学習手法より優れています。
  論文  参考訳（メタデータ） (2022-11-29T05:56:51Z)
• Mastering Atari with Discrete World Models [61.7688353335468]
  本稿では,強力な世界モデルのコンパクトな潜伏空間における予測から純粋に振る舞いを学習する強化学習エージェントであるDreamerV2を紹介する。 DreamerV2は、Atariベンチマークにおいて、個別に訓練された世界モデル内での振る舞いを学習することで、55タスクの人間レベルのパフォーマンスを達成する最初のエージェントである。
  論文  参考訳（メタデータ） (2020-10-05T17:52:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。