論文の概要: Lifelong Learning in Vision-Language Models: Enhanced EWC with Cross-Modal Knowledge Retention

• arxiv url: http://arxiv.org/abs/2605.12789v1
• Date: Tue, 12 May 2026 22:05:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:27.710552
• Title: Lifelong Learning in Vision-Language Models: Enhanced EWC with Cross-Modal Knowledge Retention
• Title（参考訳）: 視覚言語モデルにおける生涯学習:クロスモーダル知識保持によるEWCの強化
• Authors: Hamza Ahmed Durrani, Rafay Suleman Durrani,
• Abstract要約: 大規模言語ビジョンモデル(LVLM)は、テキストと視覚のモダリティ間の理解を可能にすることで、AIに革命をもたらした。 これらのモデルは、画像キャプション、視覚的質問応答、モーダル検索といったタスクに優れています。 本稿では,拡張された弾性重み統合とパラメータ効率のよい微調整技術を組み合わせたLVLMの総合的連続学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language-vision models (LVLMs) such as CLIP, Flamingo, and BLIP have revolutionized AI by enabling understanding across textual and visual modalities. These models excel at tasks like image captioning, visual question answering, and cross-modal retrieval. However, they face catastrophic forgetting when learning new tasks sequentially, particularly challenging in multi-modal settings where preserving cross-modal alignments adds complexity to the learning process. This paper presents a comprehensive continual learning framework for LVLMs that combines enhanced Elastic Weight Consolidation (EWC) with parameter-efficient fine-tuning techniques. We integrate multi-modal Fisher Information Matrix calculation, consistency preservation across modalities, and adaptive regularization that considers dependencies across visual and textual encoders. The framework achieves a 78% reduction in forgetting rates relative to naive sequential training approaches through extensive evaluation testing. The framework also preserves alignment between modalities during sequential learning with only 15% additional computational cost. This work advances the state of the art in lifelong learning for multi-modal AI systems, with direct applications to autonomous driving, intelligent robotic assistants, and adaptive robotic systems that must continuously learn in dynamic real-world environments.
• Abstract（参考訳）: CLIP、Flamingo、BLIPといった大規模言語ビジョンモデル(LVLM)は、テキストと視覚のモダリティ間の理解を可能にすることによって、AIに革命をもたらした。 これらのモデルは、画像キャプション、視覚的質問応答、モーダル検索といったタスクに優れています。 しかし、新しいタスクをシーケンシャルに学習する場合、特にクロスモーダルなアライメントを維持することが学習プロセスに複雑さをもたらすようなマルチモーダルな設定では、彼らは破滅的な忘れに直面します。 本稿では,拡張された弾性重み統合(EWC)とパラメータ効率のよい微調整技術を組み合わせたLVLMの総合的連続学習フレームワークを提案する。 我々は,マルチモーダルなフィッシャー情報行列計算,モダリティ間の整合性維持,および視覚的およびテキスト的エンコーダ間の依存関係を考慮した適応正規化を統合する。 このフレームワークは、広範囲な評価テストを通じて、素早いシーケンシャルトレーニングアプローチと比較して、忘れる率を78%削減する。 このフレームワークはまた、逐次学習中のモダリティ間のアライメントを15%追加の計算コストで維持する。 この研究は、自律運転、インテリジェントなロボットアシスタント、そして動的現実世界環境で継続的に学習しなければならない適応型ロボットシステムへの直接的な応用によって、マルチモーダルAIシステムの生涯学習の最先端を前進させる。

関連論文リスト

• Co-Training Vision Language Models for Remote Sensing Multi-task Learning [68.15604397741753]
  視覚言語モデル(VLM)は、RS画像理解、グラウンド化、超高解像度(UHR)画像推論において有望な結果を得た。 本稿では,RSMTLのための簡易かつ柔軟なVLMベースラインであるRSCoVLMを提案する。 本稿では、RS画像に固有の多様な画像スケールに対処する、統一された動的解像度戦略を提案する。
  論文  参考訳（メタデータ） (2025-11-26T10:55:07Z)
• Learning with Preserving for Continual Multitask Learning [4.847042727427382]
  タスク出力の保存から共有表現空間の維持に焦点を移す新しいフレームワークであるLawP(Learning with Preserving)を紹介した。 LwPは破滅的な忘れを緩和するだけでなく、CMTLタスクにおける最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-11-11T22:23:20Z)
• Bisecle: Binding and Separation in Continual Learning for Video Language Understanding [11.710573955384511]
  海馬における高速な結合とパターン分離機構に着想を得たビデオ言語連続学習のためのBisecleを提案する。 Bisecleは、いくつかのVideoQAベンチマークにおいて、忘れを緩和し、クロスタスクの一般化を強化する。
  論文  参考訳（メタデータ） (2025-07-01T06:28:57Z)
• MORAL: A Multimodal Reinforcement Learning Framework for Decision Making in Autonomous Laboratories [4.503215272392276]
  自律的な研究室における意思決定のためのマルチモーダル強化学習フレームワークMORALを提案する。 我々は、事前訓練されたBLIP-2視覚言語モデルで微調整された画像キャプションを生成し、早期融合戦略により視覚特徴と組み合わせる。 実験の結果,マルチモーダルエージェントはタスク完了率を20%向上することがわかった。
  論文  参考訳（メタデータ） (2025-04-04T04:15:52Z)
• LLMs Can Evolve Continually on Modality for X-Modal Reasoning [62.2874638875554]
  既存の手法は、モーダル固有の事前訓練とジョイント・モーダルチューニングに大きく依存しており、新しいモーダルへと拡張する際の計算上の負担が大きくなった。 PathWeaveは、Modal-Path sWitchingとExpAnsion機能を備えた柔軟でスケーラブルなフレームワークである。 PathWeaveは最先端のMLLMと互換性があり、パラメータトレーニングの負担を98.73%削減する。
  論文  参考訳（メタデータ） (2024-10-26T13:19:57Z)
• RA-BLIP: Multimodal Adaptive Retrieval-Augmented Bootstrapping Language-Image Pre-training [55.54020926284334]
  近年,MLLM (Multimodal Large Language Models) が注目されている。 検索拡張技術はLLMとMLLMの両方に有効なプラグインであることが証明されている。 本研究では,MLLMの新しい検索支援フレームワークであるRA-BLIP(Retrieval-Augmented Bootstrapping Language-Image Pre-training)を提案する。
  論文  参考訳（メタデータ） (2024-10-18T03:45:19Z)
• mPLUG: Effective and Efficient Vision-Language Learning by Cross-modal Skip-connections [104.14624185375897]
  mPLUGは、クロスモーダルな理解と生成のための新しいビジョン言語基盤モデルである。 画像キャプション、画像テキスト検索、視覚的グラウンドリング、視覚的質問応答など、幅広い視覚言語下流タスクの最先端結果を達成する。
  論文  参考訳（メタデータ） (2022-05-24T11:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。