論文の概要: ExPaMoE: An Expandable Parallel Mixture of Experts for Continual Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2507.00502v2
• Date: Wed, 02 Jul 2025 11:38:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:59.457716
• Title: ExPaMoE: An Expandable Parallel Mixture of Experts for Continual Test-Time Adaptation
• Title（参考訳）: ExPaMoE: 連続的なテスト時間適応のための、拡張可能な専門家の並列混合
• Authors: JianChao Zhao, Chenhao Ding, Songlin Dong, Yuhang He, Yihong Gong,
• Abstract要約: 継続的テスト時間適応(CTTA)は、進化する分散シフトの下で、未ラベルデータのストリームにオンザフライで適応できるようにすることを目的としている。 本稿では,Expandable Parallel Mixture-of-Expertsアーキテクチャに基づく新しいフレームワークであるExPaMoEを提案する。
• 参考スコア（独自算出の注目度）: 19.751562859766565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual Test-Time Adaptation (CTTA) aims to enable models to adapt on-the-fly to a stream of unlabeled data under evolving distribution shifts. However, existing CTTA methods typically rely on shared model parameters across all domains, making them vulnerable to feature entanglement and catastrophic forgetting in the presence of large or non-stationary domain shifts. To address this limitation, we propose ExPaMoE, a novel framework based on an Expandable Parallel Mixture-of-Experts architecture. ExPaMoE decouples domain-general and domain-specific knowledge via a dual-branch expert design with token-guided feature separation, and dynamically expands its expert pool based on a Spectral-Aware Online Domain Discriminator (SODD) that detects distribution changes in real-time using frequency-domain cues. Extensive experiments demonstrate the superiority of ExPaMoE across diverse CTTA scenarios. We evaluate our method on standard benchmarks including CIFAR-10C, CIFAR-100C, ImageNet-C, and Cityscapes-to-ACDC for semantic segmentation. Additionally, we introduce ImageNet++, a large-scale and realistic CTTA benchmark built from multiple ImageNet-derived datasets, to better reflect long-term adaptation under complex domain evolution. ExPaMoE consistently outperforms prior arts, showing strong robustness, scalability, and resistance to forgetting.
• Abstract（参考訳）: 継続的テスト時間適応(CTTA)は、進化する分散シフトの下で、未ラベルデータのストリームにオンザフライで適応できるようにすることを目的としている。 しかし、既存のCTTA法は一般にすべてのドメインに共通するモデルパラメータに依存しており、大きなドメインや非定常的なドメインシフトの存在下で、特徴の絡み合いや破滅的な忘れ込みに弱い。 この制限に対処するため,Expandable Parallel Mixture-of-Expertsアーキテクチャに基づいた新しいフレームワークであるExPaMoEを提案する。 ExPaMoEは、トークン誘導された特徴分離を備えたデュアルブランチの専門家設計を通じてドメイン一般とドメイン固有知識を分離し、周波数領域キューを使用してリアルタイムに分布変化を検出するSpectral-Aware Online Domain Discriminator (SODD)に基づいて、専門家プールを動的に拡張する。 広範囲にわたる実験は、様々なCTTAシナリオにおけるExPaMoEの優位性を実証している。 我々は,CIFAR-10C,CIFAR-100C,ImageNet-C,Cityscapes-to-ACDCなど,セマンティックセグメンテーションのための標準ベンチマークの評価を行った。 さらに、複数のImageNet由来のデータセットから構築された大規模で現実的なCTTAベンチマークであるImageNet++を導入し、複雑なドメイン進化の下での長期適応をより良く反映する。 ExPaMoEは、強い堅牢性、スケーラビリティ、そして忘れることへの抵抗を示す、先行技術よりも一貫して優れています。

関連論文リスト

• Selecting and Merging: Towards Adaptable and Scalable Named Entity Recognition with Large Language Models [5.466962214217334]
  Supervised Fine-tuning (SFT) は、大きな言語モデル(LLM)と、名前付きエンティティ認識(NER)のような情報抽出(IE)タスクの整合に広く用いられている。 推論時に専門家モデルを動的に選択・マージするSaMフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-28T08:28:52Z)
• MoE-MLoRA for Multi-Domain CTR Prediction: Efficient Adaptation with Expert Specialization [0.0]
  MoE-MLoRAはエキスパートの混成フレームワークで、各専門家はドメインを専門にするために独立して訓練される。 MoE-MLoRAはMovielensとTaobaoの8つのCTRモデルで評価した。
  論文  参考訳（メタデータ） (2025-06-09T09:03:05Z)
• RD-UIE: Relation-Driven State Space Modeling for Underwater Image Enhancement [59.364418120895]
  水中画像強調(UIE)は、海洋視覚応用のための重要な前処理ステップである。 実効UIE(RD-UIE)のための新しい関係駆動型マンバフレームワークを開発した。 水中強化ベンチマークの実験では、RD-UIEは最先端のアプローチであるWMambaよりも優れていた。
  論文  参考訳（メタデータ） (2025-05-02T12:21:44Z)
• GM-DF: Generalized Multi-Scenario Deepfake Detection [49.072106087564144]
  既存の偽造検出は、通常、単一のドメインでのトレーニングモデルのパラダイムに従う。 本稿では,複数の顔偽造検出データセットを共同で訓練した場合のディープフェイク検出モデルの一般化能力について詳しく検討する。
  論文  参考訳（メタデータ） (2024-06-28T17:42:08Z)
• BECoTTA: Input-dependent Online Blending of Experts for Continual Test-time Adaptation [59.1863462632777]
  連続テスト時間適応(CTTA)は、学習済みの知識を維持しながら、継続的に見えない領域に効率的に適応するために必要である。 本稿では,CTTAの入力依存かつ効率的なモジュール化フレームワークであるBECoTTAを提案する。 提案手法は, トレーニング可能なパラメータを98%少なく抑えながら, 整合性や漸進性などの複数のCTTAシナリオに優れることを確認した。
  論文  参考訳（メタデータ） (2024-02-13T18:37:53Z)
• Test-time Adaptation in the Dynamic World with Compound Domain Knowledge Management [75.86903206636741]
  テスト時間適応(TTA)により、モデルは新しい環境に適応し、テスト時間中にパフォーマンスを向上させることができる。 TTAのいくつかの研究は、継続的に変化する環境において、有望な適応性能を示している。 本稿ではまず,複合ドメイン知識管理を用いた堅牢なTTAフレームワークを提案する。 次に、ソースと現在のターゲットドメイン間のドメイン類似性を用いて適応率を変調する新しい正規化を考案する。
  論文  参考訳（メタデータ） (2022-12-16T09:02:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。