論文の概要: ACCRUE: Continual Off-Policy Reinforcement Learning for Robot Foundation Models

• arxiv url: http://arxiv.org/abs/2610.18596v1
• Date: Tue, 13 Oct 2026 15:53:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.664147
• Title: ACCRUE: Continual Off-Policy Reinforcement Learning for Robot Foundation Models
• Title（参考訳）: ACCRUE:ロボット基礎モデルのための継続的なオフポリティ強化学習
• Abstract要約: ACCRUEは、タスクにまたがる軽量アクターと批評家ネットワークを備えた、継続的なオフポリティックなRLフレームワークである。 タスク後の学習をほぼゼロにすることで加速し、実ロボットのトレーニング時間を31.0%から68.5%に大幅に短縮する。
• 参考スコア（独自算出の注目度）: 28.039393905115478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reinforcement learning (RL) post-training improves robot foundation models (RFMs) beyond their demonstrations, but real-world deployment demands more: learning new tasks efficiently while retaining previously acquired behaviors. Existing continual RL methods on top of VLAs mitigate forgetting but rely on on-policy updates with limited forward transfer, whereas off-policy methods improve single-task sample efficiency without addressing learner persistence across tasks. We propose ACCRUE, a continual off-policy RL framework that carries lightweight actor and critic networks across tasks, allowing each stage to reuse behavioral and value knowledge acquired through prior RL. The inherited critic adapts only on current-task transitions and guides current-task actor learning, while prior behavior is preserved by distilling the actor toward cached targets on a small number of retained episodes. Fixed visual features keep the inherited learner and its replay compatible with base-policy updates. Across contact-rich assembly sequences in simulation and on real-robot hardware, ACCRUE accelerates subsequent-task learning with near-zero forgetting and significantly reduces real-robot training time by 31.0\% to 68.5\%.
• Abstract（参考訳）: 強化学習(Reinforcement Learning、RL)は、ロボット基礎モデル(RFM)をデモ以上のものに改善するが、現実のデプロイメント要求は、以前取得した動作を維持しながら、新しいタスクを効率的に学習することである。 既存のVLA上の連続RLメソッドは、忘れを緩和するが、フォワード転送が制限されたオンポリシー更新に依存し、一方、オフポリシーメソッドは、タスク間の学習者の永続性に対処することなく、シングルタスクのサンプル効率を改善する。 本稿では,タスク間で軽量なアクターネットワークと批評家ネットワークを伝達し,各ステージが事前のRLを通じて獲得した行動や価値の知識を再利用する,連続的なオフポリティックなRLフレームワークACCRUEを提案する。 継承された批評家は、現在のタスク遷移にのみ適応し、現在のタスクアクターの学習を誘導する一方、アクターを少数の保持エピソードにおいてキャッシュされたターゲットに向けて蒸留することにより、事前の行動は保存される。 修正された視覚機能は、継承された学習者とそのリプレイを基本ポリシー更新と互換性を保つ。 ACCRUEは、シミュレーションおよび実ロボットハードウェアにおけるコンタクトリッチなアセンブリシーケンス全体にわたって、ほぼゼロの忘れ込みで後続のタスク学習を加速し、実ロボットのトレーニング時間を31.0\%から68.5\%に大幅に短縮する。

関連論文リスト

• Stable and Efficient Real-World Online VLA Post-Training via Asynchronous Replay-Anchored Policy Improvement [60.83624556700821]
  本稿では,リプレイ動作における批評家とアクターの更新の両方を基盤として,ロールアウトと学習を同時に行うフレームワークを提案する。 RAPolicyを4つのシングルタスク設定と1つのジョイント5タスク設定で実世界で評価し,オンライントレーニングの予算は1～2時間に過ぎなかった。
  論文  参考訳（メタデータ） (2026-09-19T08:45:18Z)
• Adapting Generalist Robot Policies with Semantic Reinforcement Learning [59.009122725071386]
  ジェネラリストロボットポリシーは、大規模な事前訓練から多様な行動のレパートリーを学ぶ。 本稿では,オンラインインタラクションを通じて,このプロンプト空間を最適化するためのセマンティック・アクション強化学習(SARL)を提案する。 我々は、SARLが基本的に新しい機能をアンロックしていることを示します。
  論文  参考訳（メタデータ） (2026-06-30T17:00:33Z)
• Pretrained Vision-Language-Action Models are Surprisingly Resistant to Forgetting in Continual Learning [30.941068379610794]
  我々は,スクラッチからトレーニングした大規模事前学習型視覚言語行動(VLA)モデルの挙動について検討した。 トレーニング済みのVLAは、スクラッチからトレーニングした小さなポリシーモデルと比較して、忘れることに対して極めて抵抗的であることが分かりました。 本分析により,下流の連続学習性能において,事前学習が重要な役割を担っていることが明らかとなった。
  論文  参考訳（メタデータ） (2026-03-04T08:03:13Z)
• Actor-Critic for Continuous Action Chunks: A Reinforcement Learning Framework for Long-Horizon Robotic Manipulation with Sparse Reward [85.84943447589511]
  本稿では,高次元連続行動系列を生成するための新しいRLフレームワークであるAC3(Actor-Critic for Continuous Chunks)を紹介する。 この学習プロセスを安定させ、データ効率を高めるため、AC3はアクターと批評家の両方に目標安定化機構を組み込む。
  論文  参考訳（メタデータ） (2025-08-15T01:27:15Z)
• Continual Diffuser (CoD): Mastering Continual Offline Reinforcement Learning with Experience Rehearsal [54.93261535899478]
  強化学習のロボット制御のような現実世界の応用では、タスクが変化し、新しいタスクが順次発生する。 この状況は、タスクの変更に適応し、獲得した知識を保持するエージェントを訓練する上で、可塑性-安定トレードオフという新たな課題を生じさせる。 本研究では,連続拡散器(Continuous diffuser,CoD)と呼ばれるリハーサルに基づく連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-04T08:21:47Z)
• Persistent Reinforcement Learning via Subgoal Curricula [114.83989499740193]
  VaPRL(Value-accelerated Persistent Reinforcement Learning)は、初期状態のカリキュラムを生成する。 VaPRLは、エピソード強化学習と比較して、3桁の精度で必要な介入を減らす。
  論文  参考訳（メタデータ） (2021-07-27T16:39:45Z)
• Keep Doing What Worked: Behavioral Modelling Priors for Offline Reinforcement Learning [25.099754758455415]
  オフポリシー強化学習アルゴリズムは、環境相互作用の固定されたデータセットのみが利用できる設定で適用可能であることを約束する。 標準的なオフポリシーアルゴリズムは、継続的制御のためにバッチ設定で失敗する。
  論文  参考訳（メタデータ） (2020-02-19T19:21:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。