論文の概要: Attention-Spectrum Regularization for Replay-Free Continual Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2606.23063v1
• Date: Mon, 22 Jun 2026 09:13:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 00:22:46.461606
• Title: Attention-Spectrum Regularization for Replay-Free Continual Multimodal LLMs
• Title（参考訳）: リプレイフリー連続多モードLDMにおける注意スペクトル規則化
• Authors: Chuangxin Zhao, Canran Xiao, Siyuan Ma, Mengyao Lyu, Yanbiao Ma, Jun Xia, Guiguang Ding, Yang Liu,
• Abstract要約: マルチモーダルな大言語モデル(MLLM)は、視覚領域、質問タイプ、ユーザ命令の非定常ストリームに適応するためにますます必要とされる。 既存の視覚言語手法は主に出力を保存する、データ再生、擬似データ再生、埋め込み幾何学の正規化、タスク固有のパラメータの割り当てなどである。 本稿では, クロスモーダルアテンションのスキル条件付き構造を保存するリプレイフリー連続学習フレームワークであるアテンション・スペクトル正規化(ASR)を提案する。
• 参考スコア（独自算出の注目度）: 33.66167879532472
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) are increasingly required to adapt to non-stationary streams of visual domains, question types, and user instructions, yet continual fine-tuning often causes severe forgetting of previously acquired multimodal skills. Existing continual vision-language methods mainly preserve outputs, replay data or pseudo-data, regularize embedding geometry, or allocate task-specific parameters, but they provide limited control over how internal cross-modal attention patterns supporting old skills drift during adaptation. We propose Attention-Spectrum Regularization (ASR), a replay-free continual learning framework that preserves skill-conditioned structures of cross-modal attention. ASR treats cross-attention maps as two-dimensional signals, summarizes their scale and directional properties into compact spectral statistics, and stores only skill-wise prototype distributions instead of replaying past image-question pairs, generated pseudo-examples, or old-stage teacher snapshots. In later stages, a phase-invariant spectral regularizer constrains harmful drift of these prototypes while allowing instance-level attention to adapt to new tasks. We provide theoretical analysis showing that skill-conditioned spectral drift controls forgetting under a spectral sufficiency assumption, and that Fourier power spectra are stable to spatial translations and bounded perturbations. Experiments on continual VQA and multimodal instruction-tuning benchmarks, including VQA v2, VQACL, CLT-VQA, CoIN, and UCIT, show that ASR consistently improves final performance and reduces forgetting over strong replay-, regularization-, and adapter-based baselines. Preserving skill-level attention structure is an effective and lightweight mechanism for continual MLLMs. Code is available at https://github.com/Creative-zcx/attention-spectrum-replay
• Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)は、視覚領域、質問タイプ、ユーザ命令の定常的でないストリームに適応するためにますます必要とされるが、連続的な微調整は、以前取得したマルチモーダルスキルをひどく忘れてしまう。 既存の連続視覚言語法は主に出力、再生データ、擬似データ、埋め込み幾何学の正規化、タスク固有のパラメータの割り当てを保存しているが、これらの手法は、適応中に古いスキルの漂流をサポートする内部のモーダルな注意パターンを限定的に制御する。 本稿では, クロスモーダルアテンションのスキルコンディショニング構造を保存するリプレイフリー連続学習フレームワークであるASR(Attention-Spectrum Regularization)を提案する。 ASRは、クロスアテンションマップを2次元信号として扱い、そのスケールと方向特性をコンパクトなスペクトル統計量に要約し、過去の画像検索ペア、生成された擬似例、または古いステージの教師スナップショットを再生する代わりに、スキルワイドなプロトタイプ分布のみを格納する。 後段では、位相不変スペクトル正規化器はこれらのプロトタイプの有害なドリフトを制限し、インスタンスレベルの注意を新しいタスクに適応させる。 本稿では, スペクトル飽和条件下で忘れているスキル条件付きスペクトルドリフト制御と, 空間変換や有界摂動に対してフーリエパワースペクトルが安定であることを示す理論的解析を行う。 VQA v2、VQACL、CLT-VQA、CoIN、UCITを含む連続的なVQAおよびマルチモーダル命令チューニングベンチマークの実験は、ASRが最終性能を一貫して改善し、強力なリプレイ、正規化、アダプタベースのベースラインを忘れることを減らすことを示した。 スキルレベルのアテンション構造を保存することは、連続MLLMの有効かつ軽量なメカニズムである。 コードはhttps://github.com/Creative-zcx/attention-spectrum-replayで入手できる。

関連論文リスト

• LargeMonitor: Monitoring Online Task-Free Continual Learning via Large Pretrained Models [5.257217773590746]
  オンラインタスクフリー連続学習(TFCL)では、インテリジェントエージェントが非定常データストリームからの知識を逐次蓄積する必要がある。 既存のオンラインTFCLパラダイムは、トレーニング結合された最適化ダイナミクスによって駆動されるパラメータ効率の高いプロンプトチューニングや動的構造拡張に依存している。 我々は,タスクフリーな継続的適応を自律的にオーケストレーションするために,大規模な事前学習基盤モデルを活用するフレームワークであるLargeMonitorを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:41:15Z)
• Enhancing Multimodal In-Context Learning via Inductive-Deductive Reasoning [65.15766304205657]
  In-context Learning (ICL) は、大規模なモデルをいくつかの例を使ってタスクに適応させるが、視覚言語モデル(VLM)への拡張は脆弱である。 我々の分析によると、基本的な限界は帰納的ギャップにあり、モデルはしばしば欠陥のある推論から正しい答えを導き出す。 帰納的帰納的プロセスとしてマルチモーダル ICL を再構成する枠組みを導入する。
  論文  参考訳（メタデータ） (2026-05-04T09:18:19Z)
• Reinforcing Structured Chain-of-Thought for Video Understanding [49.3086326382764]
  概要駆動強化学習(SDRL)を紹介する。 SDRLは、Supervised Fine-Tuning (SFT)の必要性を回避したシングルステージのRLフレームワークである。 提案手法は、7つの公開ビデオQAデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-03-26T22:11:14Z)
• LEFT: Learnable Fusion of Tri-view Tokens for Unsupervised Time Series Anomaly Detection [53.191369031661885]
  教師なし時系列異常検出は、アノテーションの可用性を前提とせず、異常なタイムスタンプを識別するモデルを構築することを目的としている。 本稿では,非教師付きTSADフレームワークであるLearnable Fusion of Tri-view Tokens(LEFT)について述べる。 実世界のベンチマーク実験では、LEFTはSOTAベースラインに対して最高の検出精度を示し、FLOPの5倍、トレーニングの8倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-02-09T13:33:49Z)
• Rethinking Multi-Condition DiTs: Eliminating Redundant Attention via Position-Alignment and Keyword-Scoping [61.459927600301654]
  マルチコンディション制御は従来のコンカデント・アンド・アットエンドの戦略によってボトルネックとなる。 分析の結果,これらの相互作用の多くは空間的にも意味的にも冗長であることがわかった。 本稿では,これらの冗長性を解消するための高効率なフレームワークであるPKAを提案する。
  論文  参考訳（メタデータ） (2026-02-06T16:39:10Z)
• PLanTS: Periodicity-aware Latent-state Representation Learning for Multivariate Time Series [10.332959619473652]
  本稿では,不規則状態とその遷移を明示的にモデル化した周期性を考慮した自己教師型学習フレームワークPLanTSを提案する。 PLanTSは既存のSSLメソッドよりも一貫して表現品質を改善し、DTWベースのメソッドよりも優れた実行効率を示す。
  論文  参考訳（メタデータ） (2025-09-05T20:10:09Z)
• Continual Learning for VLMs: A Survey and Taxonomy Beyond Forgetting [70.83781268763215]
  視覚言語モデル(VLM)は、大規模事前学習を活用することで、多様なマルチモーダルタスクにおいて優れたパフォーマンスを実現している。 VLMは、クロスモーダル機能ドリフト、共有アーキテクチャによるパラメータ干渉、ゼロショット機能侵食など、ユニークな課題に直面している。 本調査は、生涯の視覚言語システムを開発する研究者にとって、包括的かつ診断的な基準となることを目的としている。
  論文  参考訳（メタデータ） (2025-08-06T09:03:10Z)
• Is Attention Required for Transformer Inference? Explore Function-preserving Attention Replacement [13.38679135071682]
  本稿では,事前学習したトランスフォーマーのすべての注意ブロックを学習可能なシーケンス・ツー・シーケンスモジュールに置き換える機能保存型アテンション・リプレースメントフレームワークを提案する。 DeiTビジョントランスファミリ上でFARを検証し、ImageNet上の元のモデルの精度と、パラメータとレイテンシを低減した複数の下流タスクとを一致させることを実証する。
  論文  参考訳（メタデータ） (2025-05-24T02:23:46Z)
• ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning [68.76048244253582]
  ビデオ理解におけるフレーム選択の最適化にルールベース強化学習(RL)を利用する最初のフレームワークであるViaRLを紹介する。 ViaRLは、下流モデルの応答精度を報奨信号として利用し、試行錯誤によってフレームセレクタを訓練する。 ViaRLは、多様なビデオ理解タスクに対して、時間的基盤性能と堅牢な一般化を一貫して提供します。
  論文  参考訳（メタデータ） (2025-05-21T12:29:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。