論文の概要: MoETTA: Test-Time Adaptation Under Mixed Distribution Shifts with MoE-LayerNorm
- arxiv url: http://arxiv.org/abs/2511.13760v1
- Date: Fri, 14 Nov 2025 10:24:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-19 16:23:52.687949
- Title: MoETTA: Test-Time Adaptation Under Mixed Distribution Shifts with MoE-LayerNorm
- Title（参考訳）: MoETTA: MoE-LayerNormとの混合分散シフトによるテスト時間適応
- Authors: Xiao Fan, Jingyan Jiang, Zhaoru Chen, Fanding Huang, Xiao Chen, Qinting Jiang, Bowen Zhang, Xing Tang, Zhi Wang,
- Abstract要約: テスト時間適応(TTA)は、単一領域の分散シフト下での性能低下を軽減するのに有効であることが証明されている。
我々は,Mixture-of-Expertsアーキテクチャを統合した,新しいエントロピーベースのTTAフレームワークであるMoETTAを提案する。
- 参考スコア（独自算出の注目度）: 13.63833424954647
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Test-Time adaptation (TTA) has proven effective in mitigating performance drops under single-domain distribution shifts by updating model parameters during inference. However, real-world deployments often involve mixed distribution shifts, where test samples are affected by diverse and potentially conflicting domain factors, posing significant challenges even for SOTA TTA methods. A key limitation in existing approaches is their reliance on a unified adaptation path, which fails to account for the fact that optimal gradient directions can vary significantly across different domains. Moreover, current benchmarks focus only on synthetic or homogeneous shifts, failing to capture the complexity of real-world heterogeneous mixed distribution shifts. To address this, we propose MoETTA, a novel entropy-based TTA framework that integrates the Mixture-of-Experts (MoE) architecture. Rather than enforcing a single parameter update rule for all test samples, MoETTA introduces a set of structurally decoupled experts, enabling adaptation along diverse gradient directions. This design allows the model to better accommodate heterogeneous shifts through flexible and disentangled parameter updates. To simulate realistic deployment conditions, we introduce two new benchmarks: potpourri and potpourri+. While classical settings focus solely on synthetic corruptions, potpourri encompasses a broader range of domain shifts--including natural, artistic, and adversarial distortions--capturing more realistic deployment challenges. Additionally, potpourri+ further includes source-domain samples to evaluate robustness against catastrophic forgetting. Extensive experiments across three mixed distribution shifts settings show that MoETTA consistently outperforms strong baselines, establishing SOTA performance and highlighting the benefit of modeling multiple adaptation directions via expert-level diversity.
- Abstract（参考訳）: テスト時間適応(TTA)は、推論中にモデルパラメータを更新することにより、単一領域の分散シフトによるパフォーマンス低下を軽減できることが証明されている。
しかしながら、現実のデプロイメントでは、テストサンプルが多様で、潜在的に矛盾するドメイン要因の影響を受け、SOTA TTAメソッドでさえ重大な課題を生じさせるような、分散的な分散シフトが伴うことが多い。
既存のアプローチにおける鍵となる制限は、統一適応パスへの依存であり、最適勾配方向が異なる領域間で大きく異なるという事実を考慮できない。
さらに、現在のベンチマークでは、合成または均一なシフトのみに焦点を当てており、実世界の異種混合分布シフトの複雑さを捉えていない。
そこで我々は,Mixture-of-Experts(MoE)アーキテクチャを統合した,新しいエントロピーベースのTTAフレームワークであるMoETTAを提案する。
すべてのテストサンプルに対して単一のパラメータ更新ルールを実行するのではなく、MoETTAでは、さまざまな勾配方向に沿って適応可能な、構造的に分離された専門家のセットを導入している。
この設計により、フレキシブルで不整合なパラメータ更新を通じて、モデルが不均一なシフトに適応できる。
現実的な展開条件をシミュレートするために,potpourriとpotpourri+という2つの新しいベンチマークを導入する。
古典的な設定は、人工的な汚職にのみ焦点をあてるが、potpourriは、自然、芸術的、敵対的な歪みを含む、より広い範囲のドメインシフトを含んでいる。
さらに、potpourri+には、破滅的な忘れ物に対する堅牢性を評価するためのソースドメインサンプルも含まれている。
3つの混合分布シフト設定の広範な実験により、MoETTAは強いベースラインを一貫して上回り、SOTA性能を確立し、専門家レベルの多様性を通じて複数の適応方向をモデル化する利点を強調している。
関連論文リスト
- Grounded Test-Time Adaptation for LLM Agents [75.62784644919803]
大規模言語モデル(LLM)ベースのエージェントは、新規で複雑な環境への一般化に苦慮している。
環境特化情報を活用することで, LLMエージェントを適応するための2つの戦略を提案する。
論文 参考訳（メタデータ） (2025-11-06T22:24:35Z) - HyperTTA: Test-Time Adaptation for Hyperspectral Image Classification under Distribution Shifts [28.21559601586271]
HyperTTA (Test-Time Adaptable Transformer for Hyperspectral Degradation) は、様々な劣化条件下でモデルロバスト性を高める統一フレームワークである。
テスト時の適応戦略である、信頼を意識したエントロピー最小化LayerNorm Adapter (CELA)は、LayerNorm層のアフィンパラメータのみを動的に更新する。
2つのベンチマークデータセットの実験では、HyperTTAがさまざまな劣化シナリオで最先端のベースラインを上回っていることが示されている。
論文 参考訳（メタデータ） (2025-09-10T09:31:37Z) - Taming Flow Matching with Unbalanced Optimal Transport into Fast Pansharpening [10.23957420290553]
本稿では,一段階の高品位パンシャーピングを実現するための最適輸送フローマッチングフレームワークを提案する。
OTFMフレームワークは、パンシャーピング制約の厳格な遵守を維持しつつ、シミュレーション不要なトレーニングとシングルステップ推論を可能にする。
論文 参考訳（メタデータ） (2025-03-19T08:10:49Z) - Un-mixing Test-time Adaptation under Heterogeneous Data Streams [21.40129321379529]
TTA(Test-Time Adaptation)は、ディープモデル適応のための有望なソリューションとして登場した。
本稿では、新しい周波数ベースの分散適応フレームワークFreDAを提案する。
論文 参考訳（メタデータ） (2024-11-16T12:29:59Z) - MITA: Bridging the Gap between Model and Data for Test-time Adaptation [68.62509948690698]
テスト時間適応(TTA)は、モデルの一般化性を高めるための有望なパラダイムとして登場した。
本稿では,Met-In-The-MiddleをベースとしたMITAを提案する。
論文 参考訳（メタデータ） (2024-10-12T07:02:33Z) - Enhancing Test Time Adaptation with Few-shot Guidance [62.49199492255226]
深層ニューラルネットワークは、トレーニング(ソース)とテスト(ターゲット)データのドメインシフトに直面しながら、大きなパフォーマンス低下に直面することが多い。
TTA(Test Time Adaptation)法は,事前学習したソースモデルを用いて,配信外ストリーミングターゲットデータを処理する手法として提案されている。
本稿では,Few-Shot Test Time Adaptation (FS-TTA) を開発した。
論文 参考訳（メタデータ） (2024-09-02T15:50:48Z) - DATTA: Towards Diversity Adaptive Test-Time Adaptation in Dynamic Wild World [6.816521410643928]
本稿では,QoE(Quality of Experience)の改善を目的としたDATTA(Diversity Adaptive Test-Time Adaptation)という手法を提案する。
バッチの多様性を評価するダイバーシティ識別(DD)、DDの洞察に基づく正規化手法を調整するためのダイバーシティ適応バッチ正規化(DABN)、モデルを選択的に微調整するダイバーシティ適応細調整(DAFT)の3つの主要なコンポーネントが特徴である。
実験結果から,本手法の精度は最先端手法と比較して最大21%向上することがわかった。
論文 参考訳（メタデータ） (2024-08-15T09:50:11Z) - Disentangled Federated Learning for Tackling Attributes Skew via
Invariant Aggregation and Diversity Transferring [104.19414150171472]
属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。
本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。
実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
論文 参考訳（メタデータ） (2022-06-14T13:12:12Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳（メタデータ） (2022-04-13T12:43:12Z) - CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。
このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。
提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文 参考訳（メタデータ） (2022-03-03T05:58:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。