論文の概要: CoPre-MoE: Consolidating and Preserving MoE for Multimodal Continual Instruction Tuning
- arxiv url: http://arxiv.org/abs/2611.18417v1
- Date: Fri, 13 Nov 2026 16:58:35 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:21:19.601335
- Title: CoPre-MoE: Consolidating and Preserving MoE for Multimodal Continual Instruction Tuning
- Title(参考訳): CoPre-MoE:マルチモーダルインストラクションチューニングのためのMoEの統合と保存
- Abstract要約: Mixture-of-experts (MoE)アーキテクチャは、専門家の専門化と組み合わせを通じてタスクの干渉を軽減する、有望な方法を提供する。
既存のMoEに基づく手法は、厳しいクロスタスク冗長性と線形パラメータ成長を引き起こす。
パラメータ冗長性を抑えるため, 忘れを生じさせることなく, コンソリデーションと保存のためのMoE(CoPre-MoE)を提案する。
- 参考スコア(独自算出の注目度): 12.011519436646092
- License:
- Abstract: Multimodal continual instruction tuning requires multimodal large language models to sequentially acquire new capabilities without catastrophic forgetting. Mixture-of-experts (MoE) architectures offer a promising way to mitigate task interference through expert specialization and combination. However, while existing MoE-based methods avoid overwriting shared parameters by allocating separate experts for each task, this progressive expansion incurs severe cross-task redundancy and linear parameter growth. Specifically, experts across tasks often learn overlapping functions alongside task-specific capabilities. For instance, ScienceQA and TextVQA both locate relevant image regions. To curb parameter redundancy without inducing forgetting, we propose Consolidating and Preserving MoE (CoPre-MoE). For each incoming task, CoPre-MoE first learns task-specific MoE to capture specialized capabilities. To eliminate redundancy and reduce parameter growth across tasks, we design a shared-and-private expert architecture. Specifically, we first evaluate functional overlap to selectively consolidate overlapping experts across tasks into a fixed-capacity generic expert pool. We then factorize the remaining task-specific experts into shared projection bases and compact task-specific cores within a private expert pool. To mitigate forgetting, we construct the router by pairing each expert with learnable retrieval keys, where historical keys remain frozen during continual updates while newly added keys are regularized with an orthogonality penalty. At inference, input-dependent routing dynamically combines both pools without test-time task labels. Extensive experiments demonstrate that CoPre-MoE achieves superior performance while substantially reducing parameter overhead.
- Abstract(参考訳): マルチモーダル連続的命令チューニングでは, 破滅的な忘れを伴わずに, 次々に新たな機能を取得するために, マルチモーダル大言語モデルが必要である。
Mixture-of-experts (MoE)アーキテクチャは、専門家の専門化と組み合わせを通じてタスクの干渉を軽減する、有望な方法を提供する。
しかし、既存のMoEベースの手法では、タスクごとに個別の専門家を割り当てることで、共有パラメータのオーバーライトを回避しているが、このプログレッシブ展開は深刻なクロスタスク冗長性と線形パラメータ成長を引き起こす。
具体的には、タスクにまたがる専門家は、タスク固有の機能と重複する機能を学ぶことが多い。
例えば、ScienceQAとTextVQAはどちらも関連する画像領域を特定する。
パラメータ冗長性を抑制するために,CoPre-MoE(Consolidating and Preserving MoE)を提案する。
着信するタスクごとに、CoPre-MoEはまずタスク固有のMoEを学び、特殊能力をキャプチャする。
冗長性を排除し、タスク間のパラメータ成長を低減するため、我々は共有とプライベートのエキスパートアーキテクチャを設計する。
具体的には、まず機能オーバーラップを評価し、タスク間のオーバーラップした専門家を固定容量のジェネリックエキスパートプールに選択的に統合する。
次に、残りのタスク特化専門家を、プライベートエキスパートプール内の共有プロジェクションベースとコンパクトなタスク特化コアに分解する。
記憶を緩和するために、各専門家に学習可能な検索キーをペアにすることでルータを構築し、連続更新中に履歴キーが凍結され、新たに追加されたキーは直交ペナルティで正規化される。
推論において、入力依存ルーティングは、テストタイムタスクラベルなしで両方のプールを動的に結合する。
大規模な実験により、CoPre-MoEはパラメータのオーバーヘッドを大幅に減らしながら優れた性能を発揮することが示された。
関連論文リスト
- Learning to Recover Task Experts from a Multi-Task Merged Model [15.553883607402438]
マルチタスクモデルマージは、複数のタスク固有の専門家を統一モデルに統合することを目的としているが、静的マージはパラメータ干渉に常に悩まされている。
このようなパラメータ摂動はアフィン変換としてモデル化でき、加算オフセットとして近似することができる。
Recover Task eXpert(Re)は、パラメータ干渉を解き、単一のマージされたチェックポイントからタスクエキスパートのパフォーマンスを回復するために、これらのオフセットを予測するフレームワークである。
論文 参考訳(メタデータ) (2026-06-25T11:34:33Z) - Essential Subspace Merging for Multi-Task Learning [78.5390284258307]
タスク更新によって引き起こされる出力シフトを分析し、そのエネルギーが少数の主方向に集中していることを確認する。
残りのほとんどの方向は、タスク関連エネルギーをほとんど持たないが、複数のタスク更新にまたがる蓄積は、マージ中に深刻な干渉を引き起こす可能性がある。
ESDに基づいて,トレーニング不要な静的マージ手法であるEssential Subspace Merging (ESM)を導入する。
ESMをトレーニング不要な動的マージメソッドであるESM++に拡張し、タスク固有の残留物を低ランクの専門家に分解する。
論文 参考訳(メタデータ) (2026-06-17T15:07:11Z) - CRAM: Centroid-Routing and Adaptive MoE for Multimodal Continual Instruction Tuning [16.21619173438734]
MLLM(Multimodal Large Language Models)は、多種多様な視覚言語タスクを、命令チューニングを通じて共有生成フレームワークで統合する。
既存のメソッドは、共有パラメータセットですべてのタスクを更新するか、新しいタスクごとに専用のモジュールを割り当てる。
CRAMはタスク固有のパターンを独立したモジュールに分離することで、タスク間の破滅的な忘れを軽減します。
論文 参考訳(メタデータ) (2026-06-01T17:11:30Z) - Split-on-Share: Mixture of Sparse Experts for Task-Agnostic Continual Learning [10.01449025634975]
大規模言語モデル(LLM)における連続学習は、可塑性安定性ジレンマによって妨げられる。
モデルをモジュラー部分空間に分解することで可塑性と安定性の衝突を解決するフレームワークであるSETAを紹介する。
SETA は,パラメータ効率のよい連続学習法よりも常に優れていることを示す。
論文 参考訳(メタデータ) (2026-01-24T22:39:22Z) - One-Prompt Strikes Back: Sparse Mixture of Experts for Prompt-based Continual Learning [52.966712416640085]
本稿では,タスク固有戦略と共有プロンプト戦略の両方の利点を統合する新しいフレームワークであるSMoPEを提案する。
SMoPEはタスク固有のプロンプトメソッドを一貫して上回り、最先端のアプローチと競合する性能を達成する。
論文 参考訳(メタデータ) (2025-09-29T08:54:58Z) - LLaVA-CMoE: Towards Continual Mixture of Experts for Large Vision-Language Models [21.888139819188105]
LLaVA-CMoEは、大規模言語モデルの継続的な学習フレームワークである。
Probe-Guided Knowledge Extensionメカニズムは、いつ、どこで新しいエキスパートを追加するべきかを決定する。
Probabilistic Task Locatorは各タスクを専用軽量ルータに割り当てる。
論文 参考訳(メタデータ) (2025-03-27T07:36:11Z) - Complexity Experts are Task-Discriminative Learners for Any Image Restoration [80.46313715427928]
複雑性の専門家" - 様々な計算複雑性と受容的なフィールドを持つフレキシブルな専門家ブロックを紹介します。
この選好は、タスク固有の割り当てを効果的に推進し、適切な複雑さを持つ専門家にタスクを割り当てる。
提案したMoCE-IRモデルは最先端の手法より優れており、その効率性と実用性が確認されている。
論文 参考訳(メタデータ) (2024-11-27T15:58:07Z) - Mod-Squad: Designing Mixture of Experts As Modular Multi-Task Learners [74.92558307689265]
専門家グループ("スクワッド")にモジュール化された新しいモデルであるMod-Squadを提案する。
単一モデルのトレーニング中に、このマッチングプロセスを最適化する。
13の視覚タスクを持つタスクノミーデータセットと、5つの視覚タスクを持つPASCAL-Contextデータセットの実験は、我々のアプローチの優位性を示している。
論文 参考訳(メタデータ) (2022-12-15T18:59:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。