論文の概要: LLaVA-CMoE: Towards Continual Mixture of Experts for Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2503.21227v3
• Date: Wed, 25 Jun 2025 08:30:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 14:36:55.871489
• Title: LLaVA-CMoE: Towards Continual Mixture of Experts for Large Vision-Language Models
• Title（参考訳）: LLaVA-CMoE:大規模ビジョンランゲージモデルのためのエキスパートの継続的な混合を目指して
• Authors: Hengyuan Zhao, Ziqin Wang, Qixin Sun, Kaiyou Song, Yilin Li, Xiaolin Hu, Qingpei Guo, Si Liu,
• Abstract要約: LLaVA-CMoEは、大規模言語モデルの継続的な学習フレームワークである。 Probe-Guided Knowledge Extensionメカニズムは、いつ、どこで新しいエキスパートを追加するべきかを決定する。 Probabilistic Task Locatorは各タスクを専用軽量ルータに割り当てる。
• 参考スコア（独自算出の注目度）: 21.888139819188105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture of Experts (MoE) architectures have recently advanced the scalability and adaptability of large language models (LLMs) for continual multimodal learning. However, efficiently extending these models to accommodate sequential tasks remains challenging. As new tasks arrive, naive model expansion leads to rapid parameter growth, while modifying shared routing components often causes catastrophic forgetting, undermining previously learned knowledge. To address these issues, we propose LLaVA-CMoE, a continual learning framework for LLMs that requires no replay data of previous tasks and ensures both parameter efficiency and robust knowledge retention. Our approach introduces a Probe-Guided Knowledge Extension mechanism, which uses probe experts to dynamically determine when and where new experts should be added, enabling adaptive and minimal parameter expansion tailored to task complexity. Furthermore, we present a Probabilistic Task Locator that assigns each task a dedicated, lightweight router. To handle the practical issue that task labels are unknown during inference, we leverage a VAE-based reconstruction strategy to identify the most suitable router by matching input distributions, allowing automatic and accurate expert allocation. This design mitigates routing conflicts and catastrophic forgetting, enabling robust continual learning without explicit task labels. Extensive experiments on the CoIN benchmark, covering eight diverse VQA tasks, demonstrate that LLaVA-CMoE delivers strong continual learning performance with a compact model size, significantly reducing forgetting and parameter overhead compared to prior methods. These results showcase the effectiveness and scalability of our approach for parameter-efficient continual learning in large language models. Our code will be open-sourced soon.
• Abstract（参考訳）: 最近、Mixture of Experts (MoE)アーキテクチャは、連続的マルチモーダル学習のための大規模言語モデル(LLM)のスケーラビリティと適応性を改善している。 しかし、これらのモデルをシーケンシャルなタスクに効率的に拡張することは依然として困難である。 新しいタスクが到着すると、ナイーブモデルの拡張はパラメータの急激な増加につながるが、共有ルーティングコンポーネントの変更は、しばしば破滅的な忘れ込みを招き、以前に学んだ知識を損なう。 これらの課題に対処するために,LLaVA-CMoEを提案する。LLaVA-CMoEは,従来のタスクのリプレイを必要とせず,パラメータ効率と堅牢な知識保持を両立させる連続学習フレームワークである。 提案手法では,プローブの専門家がいつ,どこで新しい専門家を追加するべきかを動的に決定し,タスクの複雑さに合わせて適応的かつ最小限のパラメータ拡張を可能にする。 さらに,各タスクを専用軽量ルータとして割り当てる確率的タスクロケータを提案する。 推論中にタスクラベルが不明な現実的な問題に対処するために,VAEベースの再構成手法を用いて,入力分布の一致によって最も適切なルータを識別し,自動的かつ正確な専門家割り当てを可能にする。 この設計は、ルーティング競合や破滅的な忘れを緩和し、明示的なタスクラベルなしで堅牢な連続学習を可能にする。 8つのVQAタスクをカバーするCoINベンチマークの大規模な実験により、LLaVA-CMoEは、モデルサイズがコンパクトで強力な連続学習性能を提供し、従来の方法と比較して、忘れることとパラメータのオーバーヘッドを大幅に削減することを示した。 これらの結果は,大規模言語モデルにおけるパラメータ効率のよい連続学習手法の有効性と拡張性を示す。 私たちのコードはまもなくオープンソースになります。

関連論文リスト

• Fresh-CL: Feature Realignment through Experts on Hypersphere in Continual Learning [3.708456605408296]
  連続学習(Fresh-CL)におけるハイパーSpHereのエキスパートによる特徴認識手法を提案する。 本研究では,ETFの動的拡張を専門家の混合により提案し,様々な部分空間への適応射影を可能とし,特徴表現を向上する。 11のデータセットの実験では、最強のベースラインに比べて精度が2%向上した。
  論文  参考訳（メタデータ） (2025-01-04T05:20:53Z)
• Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts [75.85448576746373]
  本稿では,モデルのパラメータ効率を向上させるために,類似の専門家をグループ化し,グループ化する方法を提案する。 提案手法の有効性を3つの最先端MoEアーキテクチャを用いて検証する。 評価の結果,本手法は自然言語タスクにおいて,他のモデルプルーニング手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-07-12T17:25:02Z)
• Multi-Task Dense Prediction via Mixture of Low-Rank Experts [35.11968315125389]
  MLoRE(Mixture-of-Low-Rank-Experts)と呼ばれる,マルチタスクの高密度予測のためのデコーダに着目した新しい手法を提案する。 グローバルなタスク関係をモデル化するために、MLoREは元のMoE構造に汎用的な畳み込みパスを追加し、各タスク機能は、明示的なパラメータ共有のためにこのパスを通ることができる。 実験の結果,MLoREは従来のすべてのメトリクスの最先端手法に比べて優れた性能を示すことがわかった。
  論文  参考訳（メタデータ） (2024-03-26T14:40:17Z)
• Dense Network Expansion for Class Incremental Learning [61.00081795200547]
  最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。 精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。 従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
  論文  参考訳（メタデータ） (2023-03-22T16:42:26Z)
• A Dirichlet Process Mixture of Robust Task Models for Scalable Lifelong Reinforcement Learning [11.076005074172516]
  強化学習アルゴリズムは、生涯ストリーミング情報に直面すると、破滅的な忘れ物や干渉に容易に遭遇する。 本稿では,ネットワーク容量を動的に拡張し,新たな知識に適合する拡張寿命RL法を提案する。 提案手法は,拡張寿命の長いRLの実現に成功し,既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-22T09:48:41Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。