論文の概要: Merge then Realign: Simple and Effective Modality-Incremental Continual Learning for Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2503.07663v2
• Date: Wed, 22 Oct 2025 08:23:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:04.433169
• Title: Merge then Realign: Simple and Effective Modality-Incremental Continual Learning for Multimodal LLMs
• Title（参考訳）: Merge then Realign:マルチモーダルLLMのためのシンプルで効果的なモダリティ-インクリメンタルラーニング
• Authors: Dingkun Zhang, Shuhan Qi, Xinyu Xiao, Kehai Chen, Xuan Wang,
• Abstract要約: 本稿では,「Merge then ReAlign(MERA)」と呼ばれるエレガントなMCLパラダイムを提案する。 実験ではMERAの印象的な性能を実証し、平均99.84%の後方相対利得を4つのモードに拡張した。
• 参考スコア（独自算出の注目度）: 32.09688735548092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in Multimodal Large Language Models (MLLMs) have enhanced their versatility as they integrate a growing number of modalities. Considering the heavy cost of training MLLMs, it is efficient to reuse the existing ones and extend them to more modalities through Modality-incremental Continual Learning (MCL). The exploration of MCL is in its early stages. In this work, we dive into the causes of performance degradation in MCL. We uncover that it suffers not only from forgetting as in traditional continual learning, but also from misalignment between the modality-agnostic and modality-specific components. To this end, we propose an elegantly simple MCL paradigm called "MErge then ReAlign" (MERA) to address both forgetting and misalignment. MERA avoids introducing heavy model budgets or modifying model architectures, hence is easy to deploy and highly reusable in the MLLM community. Extensive experiments demonstrate the impressive performance of MERA, holding an average of 99.84\% Backward Relative Gain when extending to four modalities, achieving nearly lossless MCL performance. Our findings underscore the misalignment issue in MCL. More broadly, our work showcases how to adjust different components of MLLMs during continual learning.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)の最近の進歩は、その汎用性を高め、多くのモダリティを統合している。 MLLMのトレーニングコストを考えると、既存のMLLMを再利用し、MCL(Modality-incremental Continual Learning)を通じてよりモダリティに拡張することが効率的である。 MCLの探査は初期段階にある。 本研究では, MCLの性能劣化の原因について検討する。 従来の連続学習のように忘れてしまうだけでなく、モダリティに依存しないコンポーネントとモダリティ固有のコンポーネントのミスアライメントに悩まされていることを明らかにする。 そこで本稿では, 忘れと誤認識の両方に対処するため, エレガントにシンプルなMCLパラダイム"MErge then ReAlign"を提案する。 MERAは、重いモデル予算の導入やモデルアーキテクチャの変更を避けるため、MLLMコミュニティでのデプロイや再利用が容易である。 大規模な実験はMERAの印象的な性能を示し、平均99.84 %の後方相対利得を4つのモードに拡張し、ほぼ損失のないMCL性能を実現している。 以上の結果から,MCLの誤診の問題点が浮き彫りとなった。 より広範に、連続学習におけるMLLMの異なるコンポーネントの調整方法を紹介します。

関連論文リスト

• Magic-MM-Embedding: Towards Visual-Token-Efficient Universal Multimodal Embedding with MLLMs [10.443777669301983]
  MLLM(Multimodal Large Language Models)は,マルチモーダル検索において非常に有望であることを示す。 しかし、それらの実用的な応用は、視覚的な入力から大量のトークンを処理することから生じる相当な計算コストによって妨げられることが多い。 汎用マルチモーダル埋め込みにおいて,高効率および最先端性能を実現する一連の新しいモデルであるMagic-MM-Embeddingを提案する。
  論文  参考訳（メタデータ） (2026-02-05T04:01:01Z)
• Mitigating Modality Imbalance in Multi-modal Learning via Multi-objective Optimization [57.00656508727821]
  マルチモーダル学習(MML)は、複数のモーダルからの情報を統合することを目的としており、単一のモーダル学習よりも優れたパフォーマンスをもたらすことが期待されている。 近年の研究では、MMLはモダリティにまたがる不均衡学習のため、単一モダリティアプローチと比較しても性能が劣っていることが示されている。 本稿では,修正ML問題を解くための勾配に基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-11-10T04:16:01Z)
• NaViL: Rethinking Scaling Properties of Native Multimodal Large Language Models under Data Constraints [100.02131897927484]
  本稿では,Multimodal Large Language Models(MLLM)のエンドツーエンドなネイティブトレーニングに焦点を当てる。 そこで我々は,NaViLと呼ばれるネイティブMLLMと,シンプルで費用対効果の高いレシピを組み合わせて提案する。 14のマルチモーダルベンチマークによる実験結果から,既存のMLLMに対するNaViLの競合性能が確認された。
  論文  参考訳（メタデータ） (2025-10-09T17:59:37Z)
• PUMA: Layer-Pruned Language Model for Efficient Unified Multimodal Retrieval with Modality-Adaptive Learning [54.73049408950049]
  モーダリティ適応型学習を伴う効率的な統一マルチモーダル検索のための階層型言語モデルを提案する。 本手法は,構造的,学習的両面からの統合的マルチモーダル検索を改善する。
  論文  参考訳（メタデータ） (2025-07-10T16:47:25Z)
• Meta-Adaptive Prompt Distillation for Few-Shot Visual Question Answering [53.82094608038132]
  大規模マルチモーダルモデル(LMM)は、最小限の監督で新しいタスクを実行するために、コンテキスト内学習(ICL)に依存することが多い。 ICLの性能、特に小さなLMMでは、一貫性がなく、例の増加とともに常に単調に改善するとは限らない。 メタラーニング手法を提案することで,LMMの少数ショット機能を実現する方法を提案する。
  論文  参考訳（メタデータ） (2025-06-07T19:37:22Z)
• MLLM-CL: Continual Learning for Multimodal Large Language Models [62.90736445575181]
  ドメインと能力の連続学習を含む新しいベンチマークであるMLLM-CLを紹介する。 我々のアプローチは、ドメイン固有の知識と機能的能力とを最小限の忘れ込みで統合することができ、既存の手法よりもはるかに優れています。
  論文  参考訳（メタデータ） (2025-06-05T17:58:13Z)
• Reasoning-Aligned Perception Decoupling for Scalable Multi-modal Reasoning [95.44766931218896]
  MLLM(Multi-modal large language model)は、テキストベースの推論に遅れを取っている。 本稿では,MLLMの推論コンポーネントをモジュール化し,容易に置き換え可能なパーセプション推論デカップリングを提案する。 本稿では,視覚知覚最適化(VPO)と呼ばれる新しい強化学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-05T02:28:07Z)
• Improve Multi-Modal Embedding Learning via Explicit Hard Negative Gradient Amplifying [7.9925771591348065]
  コアコントラスト学習パラダイムは、CLIPスタイルのモデルからMLLMに大きく変化しない。 本研究では,クエリ,正,負のサンプルに対する情報NCE損失の勾配を詳細に解析する。 そこで本研究では, 強陰性サンプルに関連する勾配を明示的に増幅し, より識別的な埋め込みの学習を促すことを提案する。
  論文  参考訳（メタデータ） (2025-05-28T11:18:19Z)
• Multi-Modality Expansion and Retention for LLMs through Parameter Merging and Decoupling [33.90190836855285]
  MMERは既存のMLLMを統合し、元の性能を維持しながら効果的なマルチモーダル展開を行う。 MMERは、新しいタスクで微調整されたMLLMに同様のプロセスを適用することで、破滅的な忘れを軽減できる。
  論文  参考訳（メタデータ） (2025-05-21T12:40:07Z)
• Orchestrate Multimodal Data with Batch Post-Balancing to Accelerate Multimodal Large Language Model Training [12.911726316306755]
  モータリティ構成不整合によるMLLMトレーニングにおける非効率性を軽減するためのフレームワークであるOrchMLLMを紹介する。 Batch Post-Balancing DispatcherとMLLM Global Orchestratorは、シーケンシャルデータにおけるミニバッチの不均衡を取り除くために使用される。 OrchMLLMは、84B MLLMを2560ドルのH100 GPUで3つのモダリティでトレーニングする際に、MFU(Model FLOPs utilization)を41.6%で達成し、Megatron-LMを最大3.1倍のスループットで上回っている。
  論文  参考訳（メタデータ） (2025-03-31T08:24:23Z)
• PAL: Prompting Analytic Learning with Missing Modality for Multi-Modal Class-Incremental Learning [42.00851701431368]
  マルチモーダルクラスインクリメンタルラーニング(MMCIL)は、音声と視覚、画像とテキストのペアのようなマルチモーダルデータを活用する。 重要な課題は、漸進的な学習フェーズにおけるモダリティの欠如である。 PALは, MMCILに適合した, モダリティの欠如を前提とした, 斬新なフレームワークである。
  論文  参考訳（メタデータ） (2025-01-16T08:04:04Z)
• Modality-Inconsistent Continual Learning of Multimodal Large Language Models [37.15220266767881]
  マルチモーダル大言語モデル(MLLM)のための新しい連続学習シナリオであるMICL(Modality-Inconsistent Continual Learning)を導入する。 既存の視覚のみやモダリティの増分設定とは異なり、MICLはモダリティとタスクタイプのシフトを組み合わせており、どちらも破滅的な忘れを招いている。 本稿では, Pseudo Targets Generation Module を用いて, 以前見られたタスクタイプシフトによる忘れを軽減した MoInCL を提案する。
  論文  参考訳（メタデータ） (2024-12-17T16:13:56Z)
• Can MLLMs Guide Weakly-Supervised Temporal Action Localization Tasks? [6.7065734065794835]
  MLLM4WTALと呼ばれる新しい学習パラダイムを導入する。 MLLMのポテンシャルを利用して、時間的アクションキーセマンティクスと完全なセマンティクスの事前を提供する。 キーセマンティックマッチング(KSM)と完全セマンティック再構成(CSR)の2つの異なるモジュールを統合することでこれを実現できる。
  論文  参考訳（メタデータ） (2024-11-13T09:37:24Z)
• Classifier-guided Gradient Modulation for Enhanced Multimodal Learning [50.7008456698935]
  Gradient-Guided Modulation (CGGM) は,マルチモーダル学習と勾配のバランスをとる新しい手法である。 UPMC-Food 101, CMU-MOSI, IEMOCAP, BraTSの4つのマルチモーダルデータセットについて広範な実験を行った。 CGGMはすべてのベースラインや最先端のメソッドを一貫して上回る。
  論文  参考訳（メタデータ） (2024-11-03T02:38:43Z)
• LLMs Can Evolve Continually on Modality for X-Modal Reasoning [62.2874638875554]
  既存の手法は、モーダル固有の事前訓練とジョイント・モーダルチューニングに大きく依存しており、新しいモーダルへと拡張する際の計算上の負担が大きくなった。 PathWeaveは、Modal-Path sWitchingとExpAnsion機能を備えた柔軟でスケーラブルなフレームワークである。 PathWeaveは最先端のMLLMと互換性があり、パラメータトレーニングの負担を98.73%削減する。
  論文  参考訳（メタデータ） (2024-10-26T13:19:57Z)
• LLaVA-KD: A Framework of Distilling Multimodal Large Language Models [72.68665884790002]
  本稿では,l-MLLMからs-MLLMへ知識を伝達する新しいフレームワークを提案する。 本稿では,教師モデルの頑健な表現を視覚的,言語的両面で伝達するために,MDist(Multimodal Distillation)を導入する。 また,提案した蒸留戦略の可能性をフル活用するための3段階学習手法を提案する。
  論文  参考訳（メタデータ） (2024-10-21T17:41:28Z)
• Mono-InternVL: Pushing the Boundaries of Monolithic Multimodal Large Language Models with Endogenous Visual Pre-training [48.455597568212944]
  マルチモーダル・ミックス・オブ・エキスパート構造を用いて視覚専門家の集合をシームレスに統合するモノリシックMLLMであるMono-InternVLを提案する。 特に、EViPは、ノイズの多いデータから高品質なデータへの視覚的知識を完全に活用することを目的とした、視覚専門家のための進歩的な学習プロセスとして設計されている。
  論文  参考訳（メタデータ） (2024-10-10T17:59:22Z)
• MoExtend: Tuning New Experts for Modality and Task Extension [61.29100693866109]
  MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。 MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
  論文  参考訳（メタデータ） (2024-08-07T02:28:37Z)
• Model Composition for Multimodal Large Language Models [71.5729418523411]
  本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。 我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-20T06:38:10Z)
• Improving Discriminative Multi-Modal Learning with Large-Scale Pre-Trained Models [51.5543321122664]
  本稿では,大規模な事前学習型ユニモーダルモデルを用いて,識別型マルチモーダル学習を向上する方法について検討する。 MMLoRA(Multi-Modal Low-Rank Adaptation Learning)を導入する。
  論文  参考訳（メタデータ） (2023-10-08T15:01:54Z)
• Beyond Task Performance: Evaluating and Reducing the Flaws of Large Multimodal Models with In-Context Learning [105.77733287326308]
  我々は,3Bから80Bパラメータスケールまでの最近のオープンソースLMMを,幻覚,禁忌,構成性,説明可能性,指示に従う5つの異なる軸で評価した。 トレーニングフリーなインコンテキスト学習(ICL)をソリューションとして検討し、それがこれらの制限に与える影響について検討する。 ICL研究に基づき、ICLをさらに推し進め、Multitask-ICL、Chain-of-Hindsight-ICL、Self-Correcting-ICLといった新しい多モードICL変種を提案する。
  論文  参考訳（メタデータ） (2023-10-01T12:02:59Z)
• PMR: Prototypical Modal Rebalance for Multimodal Learning [11.5547414386921]
  本稿では,PMR(Prototypeal Modality Re Balance)を提案する。 本手法は,各モードの表現にのみ依存し,モデル構造や融合法からの制約を伴わない。
  論文  参考訳（メタデータ） (2022-11-14T03:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。