論文の概要: DIMoE-Adapters: Dynamic Expert Evolution for Continual Learning in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2605.07494v1
• Date: Fri, 08 May 2026 09:32:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.961348
• Title: DIMoE-Adapters: Dynamic Expert Evolution for Continual Learning in Vision-Language Models
• Title（参考訳）: DIMoE-Adapters:視覚言語モデルにおける連続学習のための動的エキスパート進化
• Authors: Mengxin Qin, Xiang Zhang, Xi Wang, Kun Wei, Xu Yang, Cheng Deng,
• Abstract要約: 継続的な学習は、視覚言語モデルが知識を蓄積し、スクラッチから再トレーニングすることなく、進化するタスクに適応することを可能にする。 既存のほとんどのメソッドは、静的に割り当てられたパラメータを持つ固定されたアーキテクチャに依存しており、新しいドメインへの適応を制限し、破滅的な忘れを増す。 動的インクリメンタル・ミックス・オブ・エキスパート・アダプタ・フレームワークであるDIMoE-Adaptersを提案する。
• 参考スコア（独自算出の注目度）: 63.58458696122293
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning enables vision-language models to accumulate knowledge and adapt to evolving tasks without retraining from scratch. However, in multi-domain task-incremental learning, large domain shifts intensify the stability-plasticity dilemma. Most existing methods rely on fixed architectures with statically allocated parameters, which limits adaptation to new domains and aggravates catastrophic forgetting. To address these challenges, we propose DIMoE-Adapters, a Dynamic Incremental Mixture-of-Experts Adapters framework that introduces a dynamic expert evolution paradigm to balance stability and plasticity. This paradigm is implemented through two collaborative components: Self-Calibrated Expert Evolution (SCEE) and Prototype-Guided Expert Selection (PGES). SCEE constructs and evolves a sparse expert pool through expert optimization dynamics, improving plasticity while reducing redundant capacity. PGES controls expert utilization based on the pool shaped by SCEE, improving stability across both previously encountered and unseen tasks. Extensive experiments show that DIMoE-Adapters outperforms previous state-of-the-art methods across various settings.
• Abstract（参考訳）: 継続的な学習は、視覚言語モデルが知識を蓄積し、スクラッチから再トレーニングすることなく、進化するタスクに適応することを可能にする。 しかし、多領域タスク増分学習では、大きなドメインシフトは安定性と塑性のジレンマを増大させる。 既存のほとんどのメソッドは、静的に割り当てられたパラメータを持つ固定されたアーキテクチャに依存しており、新しいドメインへの適応を制限し、破滅的な忘れを増す。 このような課題に対処するために、安定性と可塑性のバランスをとるための動的エキスパート進化パラダイムを導入する動的インクリメンタル・ミックス・オブ・エクスプット・アダプタフレームワークであるDIMoE-Adaptersを提案する。 このパラダイムは、Self-Calibrated Expert Evolution (SCEE) と Prototype-Guided Expert Selection (PGES) の2つの共同コンポーネントによって実装されている。 SCEEは、専門家最適化のダイナミクスを通じてスパースエキスパートプールを構築し、進化させ、冗長なキャパシティを低減しながら可塑性を改善します。 PGESは、SCEEによって形成されたプールに基づいて専門家の利用を制御し、以前遭遇したタスクと目に見えないタスクの両方の安定性を改善します。 大規模な実験により、DIMoE-Adaptersは様々な設定で過去の最先端メソッドよりも優れていることが示されている。

関連論文リスト

• Towards Adaptive Continual Model Merging via Manifold-Aware Expert Evolution [33.44708543696699]
  MADE-ITは、多様体幾何学における本質的な専門家表現を基礎にして、専門家の管理と活性化をオーケストレーションする。 実験により、MADE-ITは、長い水平およびシャッフルされたタスクシーケンスの精度と堅牢性において、強いベースラインを一貫して上回ることを示した。
  論文  参考訳（メタデータ） (2026-04-24T11:35:53Z)
• Training-Free Diffusion-Driven Modeling of Pareto Set Evolution for Dynamic Multiobjective Optimization [15.780107358426745]
  本稿では,DMOPのトレーニング自由拡散に基づく動的応答機構DD-DMOEAを提案する。 膝点に基づく補助戦略を用いて、新しい環境における対象領域を特定する。 CEC2018の動的多目的ベンチマークの実験により、DD-DMOEAは競争力またはより良い収束・分散性能を達成することが示された。
  論文  参考訳（メタデータ） (2026-03-23T11:09:58Z)
• SALAAD: Sparse And Low-Rank Adaptation via ADMM for Large Language Model Inference [38.037874715181964]
  トレーニング中にスパース構造と低ランク構造を誘導するプラグイン・アンド・プレイ・フレームワークであるSALAADを提案する。 モデルスケールでの実験では、SALAADはデプロイメント中のメモリ消費を大幅に削減する。 単一のトレーニングを実行すると、モデル能力の連続的なスペクトルが得られ、多様なメモリ予算をまたいだスムーズで弾力的なデプロイメントが可能になる。
  論文  参考訳（メタデータ） (2026-02-01T00:00:11Z)
• Test-Time Mixture of World Models for Embodied Agents in Dynamic Environments [29.514831254621438]
  Test-time Mixture of World Models (TMoW) は、目に見えない領域や進化しない領域への適応性を高めるフレームワークである。 TMoWは、関数が固定されている従来のMoEとは異なり、テスト時に世界モデル上でルーティング機能を更新する。 我々は、VirtualHome、ALFWorld、RLBenchベンチマーク上でTMoWを評価し、ゼロショット適応と少数ショット拡張シナリオの両方で強い性能を示す。
  論文  参考訳（メタデータ） (2026-01-30T07:06:40Z)
• Rethinking the Role of Dynamic Sparse Training for Scalable Deep Reinforcement Learning [58.533203990515034]
  ニューラルネットワークのスケーリングは機械学習における画期的な進歩をもたらしたが、このパラダイムは深層強化学習(DRL)では失敗している。 我々は、動的スパーストレーニング戦略が、アーキテクチャの改善によって確立された主要なスケーラビリティ基盤を補完するモジュール固有の利点を提供することを示す。 アーキテクチャ改善の利点を生かした実践的なフレームワークであるModule-Specific Training (MST) にこれらの知見を精査し、アルゴリズムの修正なしに様々なRLアルゴリズムをまたいだ大幅なスケーラビリティ向上を示す。
  論文  参考訳（メタデータ） (2025-10-14T03:03:08Z)
• AIM: Adaptive Intra-Network Modulation for Balanced Multimodal Learning [55.56234913868664]
  そこで我々は,適応型ネットワーク内変調(AIM)を提案し,バランスの取れたモダリティ学習を改善する。 AIMは、変調中のネットワーク内のパラメータと深さの最適化状態の違いを考慮に入れている。 AIMは、複数のベンチマークにおいて、最先端の非バランスなモダリティ学習方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-27T10:53:36Z)
• Enhancing Online Continual Learning with Plug-and-Play State Space Model and Class-Conditional Mixture of Discretization [72.81319836138347]
  オンライン連続学習(OCL)は、以前に学習したタスクの知識を保持しながら、一度だけ現れるデータストリームから新しいタスクを学習することを目指している。 既存の方法の多くはリプレイに依存しており、正規化や蒸留によるメモリ保持の強化に重点を置いている。 既存のほとんどのメソッドに組み込むことができ、適応性を直接改善できるプラグイン・アンド・プレイモジュールであるS6MODを導入する。
  論文  参考訳（メタデータ） (2024-12-24T05:25:21Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [115.79349923044663]
  FSCIL(Few-shot class-incremental Learning)は、限られた例から新しいクラスを段階的に学習することを目的としている。 静的アーキテクチャは固定パラメータ空間に依存して、逐次到着するデータから学習し、現在のセッションに過度に適合する傾向がある。 本研究では,FSCILにおける選択状態空間モデル(SSM)の可能性について検討する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。