論文の概要: SAMBAR: Selective Anchoring via Method of Multipliers for Balanced Knowledge Acquisition and Retention in Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2609.32108v1
• Date: Sat, 26 Sep 2026 00:29:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 03:08:46.567648
• Title: SAMBAR: Selective Anchoring via Method of Multipliers for Balanced Knowledge Acquisition and Retention in Vision-Language-Action Models
• Title（参考訳）: SAMBAR:視覚・言語・行動モデルにおける知識のバランス獲得と保持のための乗算器手法による選択的アンカリング
• Abstract要約: VLA(Vision-Language-Action)モデルでは、大規模な事前訓練を活用して最終的に汎用的な操作を実現する。 デプロイされたVLAポリシは、時間とともに新しいタスクを取得するための継続的学習をサポートする必要があります。 本稿では, 連続学習アルゴリズムSAMBARを導入し, VLAファインタニング時の破滅的忘れを防止する。
• 参考スコア（独自算出の注目度）: 10.638650259377254
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language-Action (VLA) models leverage large-scale pretraining to ultimately achieve generalist manipulation. Deployed VLA policies must support continual learning to acquire new tasks over time. Teaching a VLA a new task generally requires finetuning it on demonstrations of that task. However, naively finetuning on downstream tasks causes the policy to forget earlier tasks and degrades generalist capabilities. This failure is known as catastrophic forgetting. Most continual learning methods counter it by replaying data from earlier tasks. However, the old task demonstrations are not always readily available. In this paper, we introduce SAMBAR, a continual learning algorithm that prevents catastrophic forgetting during VLA finetuning without requiring access to the demonstrations of any previously learned task. We propose to cast continual learning as a constrained optimization problem and solve it with the method of multipliers. In our approach, the method of multipliers drives the policy to learn the new task without the model parameters drifting far away from their previous values. In contrast to a standard regularization penalty, the method of multipliers raises the penalty as the constraint violation accumulates by using a dual variable. We also selectively anchor the parameters critical to previous tasks to preserve past knowledge, leaving other parameters free for new task acquisition. The combination of dual variable and selective anchoring, therefore, balances knowledge acquisition with knowledge retention. We evaluate our method, SAMBAR, on the LIBERO simulation benchmark and on hardware. When sequentially finetuning on a VLA, every replay-free baseline we compare against completely forgets the first task it learned, whereas SAMBAR retains every task it has learned.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルでは、大規模な事前訓練を活用して最終的に汎用的な操作を実現する。 デプロイされたVLAポリシは、時間とともに新しいタスクを取得するための継続的学習をサポートする必要があります。 VLAに新しいタスクを教えるには、そのタスクのデモでそれを微調整する必要がある。 しかし、下流タスクの微調整によって、ポリシーは以前のタスクを忘れ、ジェネラリストの能力を低下させる。 この失敗は破滅的な忘れ物として知られている。 ほとんどの連続的な学習方法は、以前のタスクからデータを再生することでそれに対応する。 しかし、古いタスクのデモは必ずしも簡単には利用できない。 本稿では,VLAファインタニング中の破滅的な忘れを,以前に学習したタスクのデモへのアクセスを必要とせずに防止する,連続学習アルゴリズムSAMBARを紹介する。 本稿では,制約付き最適化問題として連続学習をキャストし,乗算器の手法を用いてそれを解くことを提案する。 提案手法では, モデルパラメータが従来の値から遠ざかることなく, 新たなタスクを学習する方針を導いた。 標準的な正規化ペナルティとは対照的に、乗算器の方法は、二変数を用いて制約違反が蓄積されるにつれてペナルティを高める。 また、過去の知識を保存するために、過去のタスクに不可欠なパラメータを選択的に固定し、新しいタスクの獲得に他のパラメータを自由に残します。 二重変数と選択的アンカーの組み合わせは、知識獲得と知識保持のバランスをとる。 LIBEROシミュレーションベンチマークとハードウェア上でのSAMBARの評価を行った。 VLA上で逐次微調整を行うとき、私たちが比較するリプレイフリーのベースラインはすべて、学習した最初のタスクを完全に忘れてしまう。

関連論文リスト

• Attribution-Guided Continual Learning for Large Language Models [32.34727629126595]
  大規模言語モデル(LLM)は、連続学習における破滅的な忘れ込みに悩まされることが多い。 既存の方法は、データ再生、パラメータ凍結、正規化によって破滅的な忘れを緩和する。 LLMのための帰属誘導型連続微調整フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-06T17:38:13Z)
• LLaVA-c: Continual Improved Visual Instruction Tuning [41.83222301318741]
  LLaVA-1.5のようなマルチモーダルモデルは、マルチタスクデータセットのビジュアルインストラクションチューニングを通じて最先端の視覚的理解を実現する。 タスク・バイ・タスクの連続学習はマルチタスク・ジョイント・ラーニングと一致するか、あるいは超える結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-10T10:27:52Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Task Residual for Tuning Vision-Language Models [69.22958802711017]
  タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。 TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。 提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
  論文  参考訳（メタデータ） (2022-11-18T15:09:03Z)
• Learning to Prompt for Continual Learning [34.609384246149325]
  本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。 本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。 目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
  論文  参考訳（メタデータ） (2021-12-16T06:17:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。