論文の概要: Multimodal Continual Instruction Tuning with Dynamic Gradient Guidance

• arxiv url: http://arxiv.org/abs/2511.15164v1
• Date: Wed, 19 Nov 2025 06:29:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 15:51:28.661071
• Title: Multimodal Continual Instruction Tuning with Dynamic Gradient Guidance
• Title（参考訳）: 動的勾配誘導によるマルチモーダル連続指導チューニング
• Authors: Songze Li, Mingyu Gao, Tonghua Su, Xu-Yao Zhang, Zhongjie Wang,
• Abstract要約: マルチモーダル・インストラクション・チューニングにより、大規模言語モデルは、以前獲得した知識に基づいて構築しながら、新しいタスクに順次適応することができる。 しかし、この継続的な学習パラダイムは破滅的な忘れ込みという重大な課題に直面しており、そこでは新しいタスクの学習が過去のタスクのパフォーマンス低下につながる。 本稿では,新しいタスク学習において,古いタスクからの勾配を欠く問題として概念化することで,破滅的な忘れ方に対する新たな洞察を導入する。
• 参考スコア（独自算出の注目度）: 41.58239719458457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal continual instruction tuning enables multimodal large language models to sequentially adapt to new tasks while building upon previously acquired knowledge. However, this continual learning paradigm faces the significant challenge of catastrophic forgetting, where learning new tasks leads to performance degradation on previous ones. In this paper, we introduce a novel insight into catastrophic forgetting by conceptualizing it as a problem of missing gradients from old tasks during new task learning. Our approach approximates these missing gradients by leveraging the geometric properties of the parameter space, specifically using the directional vector between current parameters and previously optimal parameters as gradient guidance. This approximated gradient can be further integrated with real gradients from a limited replay buffer and regulated by a Bernoulli sampling strategy that dynamically balances model stability and plasticity. Extensive experiments on multimodal continual instruction tuning datasets demonstrate that our method achieves state-of-the-art performance without model expansion, effectively mitigating catastrophic forgetting while maintaining a compact architecture.
• Abstract（参考訳）: マルチモーダル・インストラクション・チューニングにより、マルチモーダルな大規模言語モデルは、以前に獲得した知識に基づいて、新しいタスクに逐次適応することができる。 しかし、この継続的な学習パラダイムは破滅的な忘れ込みという重大な課題に直面しており、そこでは新しいタスクの学習が過去のタスクのパフォーマンス低下につながる。 本稿では,新しいタスク学習における古いタスクの勾配を欠く問題として概念化することで,破滅的な忘れ方に対する新たな洞察を紹介する。 提案手法は, パラメータ空間の幾何学的特性を活かし, 電流パラメータと従来最適パラメータ間の方向ベクトルを勾配ガイダンスとして利用することによって, それらの不足勾配を近似する。 この近似勾配は、制限されたリプレイバッファの実際の勾配とさらに統合することができ、モデルの安定性と可塑性を動的にバランスするベルヌーイサンプリング戦略によって制御される。 マルチモーダル連続命令チューニングデータセットの大規模実験により,提案手法はモデル拡張を伴わずに最先端の性能を実現し,コンパクトなアーキテクチャを維持しながら破滅的な忘れを効果的に軽減することを示した。

関連論文リスト

• Dynamic Orthogonal Continual Fine-tuning for Mitigating Catastrophic Forgettings [13.325021114990241]
  大規模言語モデルの継続的な学習において、破滅的な忘れは依然として重要な課題である。 本研究では,動的直交連続(DOC)ファインチューニングを提案する。これは関数方向のドリフトを追跡し,ファインチューニングプロセス中に動的に更新する新しいアプローチである。
  論文  参考訳（メタデータ） (2025-09-28T13:55:05Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)
• Gradient Projection For Continual Parameter-Efficient Tuning [42.800411328615894]
  我々は勾配投影の観点からAdapter, LoRA, Prefix-tuning, Prompt-tuningを再構成する。 大規模モデルであっても,勾配の条件は忘れることに効果的に抵抗できることを示す。 多様なデータセットを用いて,VTやCLIPを含む異なるバックボーンを用いて,本手法を広範囲に評価した。
  論文  参考訳（メタデータ） (2024-05-22T06:33:48Z)
• Continual Learning with Scaled Gradient Projection [8.847574864259391]
  ニューラルネットワークでは、連続学習はシーケンシャルタスク間の勾配干渉を引き起こし、新しいタスクを学習しながら古いタスクを忘れてしまう。 本稿では,忘れを最小化しつつ,新しい学習を改善するためのスケールドグラディエント・プロジェクション(SGP)手法を提案する。 画像の連続的分類から強化学習タスクまでに及ぶ実験を行い、最先端の手法よりも訓練オーバーヘッドの少ない性能を報告した。
  論文  参考訳（メタデータ） (2023-02-02T19:46:39Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。