論文の概要: ResMerge: Residual Policy Learning and Merging for Continual Adaptation of Pre-trained Robot Policies

• arxiv url: http://arxiv.org/abs/2610.41663v1
• Date: Fri, 30 Oct 2026 12:33:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.704476
• Title: ResMerge: Residual Policy Learning and Merging for Continual Adaptation of Pre-trained Robot Policies
• Title（参考訳）: ResMerge: トレーニング済みロボットポリシーの継続的適応のための残留ポリシー学習とマージ
• Abstract要約: 新しいタスクへの継続的な適応は、現実世界に展開されるロボットにとって不可欠である。 PECFT(Continuous Fine-Tuning)はタスク固有の更新を分離するが、アダプタ・パー・タスクの設計ではデモを必要とし、タスクセットで成長する。 ResMergeは凍結した事前訓練されたポリシーの上にマージ可能な残留ポリシーを学習する2段階のフレームワークである。
• 参考スコア（独自算出の注目度）: 23.3361506697962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual adaptation to new tasks is essential for robots deployed in the real world, but adapting pre-trained policies remains challenging due to parameter growth and the need for continual demonstration collection. Parameter-Efficient Continual Fine-Tuning (PECFT) isolates task-specific updates, but adapter-per-task designs require demonstrations and grow with the task set. We propose ResMerge, a two-stage framework that learns mergeable residual policies atop a frozen pre-trained policy: residual reinforcement learning (RL) acquires task-specific corrections without additional expert demonstrations during adaptation, and parameter-space merging consolidates compatible residuals to reduce stored parameters. We introduce Residual-Field Consistency (RFC), a simple, bounded, and interpretable metric that assesses compatibility in residual action-field space by comparing correction direction and magnitude. Experiments on LIBERO across two backbones and on a real-world Franka robot show improved continual learning performance over strong PECFT baselines, while selective merging reduces the residual-parameter footprint. Project website: https://resmerge.github.io/.
• Abstract（参考訳）: 新しいタスクへの継続的な適応は、現実世界に展開するロボットにとって不可欠であるが、パラメータの増大と継続的なデモ収集の必要性により、事前訓練されたポリシーの適応は依然として困難である。 パラメータ効率のよい連続細調整(PECFT)はタスク固有の更新を分離するが、アダプタ・パー・タスクの設計はデモを必要とし、タスクセットで成長する。 ResMergeは、凍結事前訓練されたポリシーに基づいて、マージ可能な残留ポリシーを学習する2段階のフレームワークである。Ression reinforcement Learning (RL)は、適応中に専門家による追加のデモンストレーションなしでタスク固有の修正を取得し、パラメータ空間のマージは、互換性のある残留ポリシーを集約し、保存されたパラメータを減少させる。 補正方向と大きさを比較することで、残留作用場空間の整合性を評価するための簡易で有界かつ解釈可能な計量であるResidual-Field Consistency(RFC)を導入する。 2つの背骨と実世界のフランカロボットを用いたLIBERO実験では、強いPECFTベースライン上での連続学習性能が向上し、選択的なマージにより残留パラメータのフットプリントが減少する。 プロジェクトウェブサイト: https://resmerge.github.io/.com

関連論文リスト

• ChainLoRA: Geometry-Preserving Task Vector Merging for Continual Learning in LLMs [47.47506424027992]
  ChainLoRAは、連鎖更新タスクベクトル幾何学に基づいて構築されたリプレイフリー連続マージフレームワークである。 実験の結果,ChainLoRAは評価されたリプレイフリー手法の中で最先端の性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2026-09-30T16:43:34Z)
• Task Switching Without Forgetting via Proximal Decoupling [43.88767637201092]
  継続的な学習において、最大の課題は、古い知識を忘れずに新しい情報を学ぶことである。 一般的な解決策は、このトレードオフを正規化を通じて解決し、以前のタスクに不可欠なパラメータの変更を罰する。 本稿では,作業者の分割によるタスク学習と安定性の強化を分離するアプローチを提案する。
  論文  参考訳（メタデータ） (2026-04-20T21:28:13Z)
• Dynamic Mixture of Progressive Parameter-Efficient Expert Library for Lifelong Robot Learning [64.88132446226474]
  ジェネラリストエージェントは生涯を通じて継続的に学び、適応し、忘れを最小化しながら効率的な転送を実現する必要がある。 従来の研究は、シングルタスク適応のためのパラメータ効率の良い微調整を探索し、少数のパラメータで凍結事前訓練されたモデルを効果的に操る。 本稿では,生涯にわたるロボット学習のためのDMPEL(Dynamic Mixture of Progressive Efficient Expert Library)を提案する。
  論文  参考訳（メタデータ） (2025-06-06T11:13:04Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• MINGLE: Mixture of Null-Space Gated Low-Rank Experts for Test-Time Continual Model Merging [29.58798660724693]
  連続モデルマージは、オリジナルのトレーニングデータにアクセスすることなく、独立して微調整されたモデルを順次統合する。 テスト時間連続モデルマージの新しいフレームワークであるMINGLEを提案する。 MINGLEは堅牢な一般化を実現し、忘れることを大幅に減らし、従来の最先端の手法を平均で7-9%上回っている。
  論文  参考訳（メタデータ） (2025-05-17T07:24:22Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。