論文の概要: MILE: Mixture of Incremental LoRA Experts for Continual Semantic Segmentation across Domains and Modalities

• arxiv url: http://arxiv.org/abs/2605.03555v1
• Date: Tue, 05 May 2026 09:27:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.871301
• Title: MILE: Mixture of Incremental LoRA Experts for Continual Semantic Segmentation across Domains and Modalities
• Title（参考訳）: MILE: ドメインとモダリティをまたいだ連続的なセマンティックセマンティックセグメンテーションのためのインクリメンタルLORAエキスパートの混在
• Authors: Shishir Muralidhara, Didier Stricker, René Schuster,
• Abstract要約: 連続的なセマンティックセグメンテーションは、以前に学んだタスクのパフォーマンスを犠牲にすることなく、新しいドメインやモダリティに適応するモデルを必要とする。 MILEは、ドメインとモダリティをまたいだ連続的なセグメンテーションのための、モジュール的でパラメータ効率のよいフレームワークである。
• 参考スコア（独自算出の注目度）: 19.243037567371875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual semantic segmentation requires models to adapt to new domains or modalities without sacrificing performance on previously learned tasks. Expert-based learning, in which task-specific modules specialize in different domains, has proven effective in mitigating forgetting. These methods include dynamic expansion, which suffers from scalability issues, or parameter isolation, which constrains the ability to learn new tasks. We introduce Mixture of Incremental LoRA Experts (MILE), a modular and parameter-efficient framework for continual segmentation across both domains and modalities. MILE leverages Low-Rank Adaptation (LoRA) to instantiate lightweight experts for each new task while keeping the pretrained base network frozen. Each expert is trained exclusively on its task data, thus avoids overwriting previously learned information. A prototype-guided gating mechanism dynamically selects the most appropriate expert at inference. MILE achieves the benefits of expert-based learning while overcoming its scalability limitations. It requires only a marginal parameter increase per task and tens of LoRA adapters are needed before matching the size of a single full model, making it highly efficient in both training and storage. Across domain- and modality-incremental benchmarks, MILE achieves strong performance while ensuring better stability, plasticity, and scalability.
• Abstract（参考訳）: 連続的なセマンティックセグメンテーションは、以前に学んだタスクのパフォーマンスを犠牲にすることなく、新しいドメインやモダリティに適応するモデルを必要とする。 タスク固有のモジュールが異なるドメインに特化しているエキスパートベースの学習は、忘れの軽減に有効であることが証明されている。 これらの手法には、スケーラビリティの問題に悩まされる動的拡張や、新しいタスクを学習する能力を制限するパラメータ分離が含まれる。 そこで我々はMixture of Incremental LoRA Experts (MILE)を紹介した。 MILEはLoRA(Lo-Rank Adaptation)を活用して、トレーニング済みのベースネットワークを凍結させながら、新しいタスクごとに軽量な専門家をインスタンス化する。 各専門家はタスクデータのみに訓練されるため、事前に学習した情報の上書きを避けることができる。 プロトタイプ誘導ゲーティング機構は推論において最も適切な専門家を動的に選択する。 MILEは、スケーラビリティの限界を克服しながら、エキスパートベースの学習の利点を享受します。 1つのフルモデルのサイズにマッチする前に、タスクあたりのパラメータの辺りが増加し、数個のLoRAアダプタが必要になるため、トレーニングとストレージの両方において非常に効率的である。 ドメインとモダリティのベンチマーク全体にわたって、MILEは優れた安定性、可塑性、スケーラビリティを確保しながら、強力なパフォーマンスを実現している。

関連論文リスト

• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• Masked Feature Modeling Enhances Adaptive Segmentation [9.279607578922683]
  Masked Feature Modeling (MFM) は機能マスキングと再構成を行う新しい補助タスクである。 MFMは学習目標をメインセグメンテーションタスクと整合させ、DeepLabやDAFormerといった標準アーキテクチャとの互換性を確保する。 効率的な再構築を容易にするために,推論時に共同で訓練されるが破棄される軽量補助モジュールであるRebuilderを導入する。
  論文  参考訳（メタデータ） (2025-09-17T08:16:05Z)
• FM-LoRA: Factorized Low-Rank Meta-Prompting for Continual Learning [19.068489119024388]
  連続学習は、シーケンシャルなタスクに事前訓練されたモデルを活用するための有望なアプローチとして登場した。 既存のCLメソッドの多くは、ローランド適応(LoRA)アダプタやプロンプトなどの学習構造を漸進的に格納する。 動的階数セレクタ(DRS)と動的メタプロンプティング(DMP)の両方を統合した,新規で効率的な低ランク適応手法FM-LoRAを提案する。
  論文  参考訳（メタデータ） (2025-04-09T19:36:18Z)
• LLaVA-CMoE: Towards Continual Mixture of Experts for Large Vision-Language Models [21.888139819188105]
  LLaVA-CMoEは、大規模言語モデルの継続的な学習フレームワークである。 Probe-Guided Knowledge Extensionメカニズムは、いつ、どこで新しいエキスパートを追加するべきかを決定する。 Probabilistic Task Locatorは各タスクを専用軽量ルータに割り当てる。
  論文  参考訳（メタデータ） (2025-03-27T07:36:11Z)
• Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
  大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。 現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。 そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
  論文  参考訳（メタデータ） (2024-12-03T07:25:30Z)
• MTL-LoRA: Low-Rank Adaptation for Multi-Task Learning [74.43869839954168]
  MTL能力を大幅に向上させながら、低ランク適応の利点を保ちつつ、MTL-LoRAを提案する。 MTL-LoRAは、タスク固有の情報を識別し、共有知識をキャプチャするタスク適応パラメータを追加することで、LoRAを強化する。 このアプローチにより、事前訓練されたモデルは、限られた数のトレーニング可能なパラメータで、異なるターゲットドメインに共同で適応することができる。
  論文  参考訳（メタデータ） (2024-10-12T08:32:26Z)
• PECTP: Parameter-Efficient Cross-Task Prompts for Incremental Vision Transformer [76.39111896665585]
  インクリメンタルラーニング(IL)は、シーケンシャルタスクの深いモデルを継続的に学習することを目的としている。 近年の大規模事前訓練モデル (PTM) は, 従来の試料を含まない実用ILにおいて, 即時的手法により優れた性能を発揮している。
  論文  参考訳（メタデータ） (2024-07-04T10:37:58Z)
• Mixture-of-LoRAs: An Efficient Multitask Tuning for Large Language Models [7.966452497550907]
  大規模言語モデル(LLM)を用いたマルチタスク学習のためのMixture-of-LoRA(MoA)アーキテクチャを提案する。 複数のドメイン固有のLoRAモジュールは、Mixture-of-Experts(MoE)で観察される専門家設計原則と一致させることができる。 各LoRAモデルは、新しいドメインに反復的に適応することができ、素早くドメイン固有の適応を可能にする。
  論文  参考訳（メタデータ） (2024-03-06T03:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。