論文の概要: MoASE++: Mixture of Activation Sparsity Experts with Domain-Adaptive On-policy Distillation for Continual Test Time Adaptation
- arxiv url: http://arxiv.org/abs/2605.17743v1
- Date: Mon, 18 May 2026 01:52:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:48.508841
- Title: MoASE++: Mixture of Activation Sparsity Experts with Domain-Adaptive On-policy Distillation for Continual Test Time Adaptation
- Title(参考訳): MoASE++: アクティベーションスペシャリティエキスパートとドメイン適応型オン政治蒸留を混合した連続テスト時間適応
- Authors: Ronyu Zhang, Aosong Cheng, Gaole Dai, Yulin Luo, Jiaming Liu, Li Du, Huanrui Yang, Dan Wang, Leyuan Fang, Yuan Du, Shanghang Zhang,
- Abstract要約: 連続的なテスト時間適応は、非定常な未ラベルのターゲットストリームにソース予測モデルを適用する。
ドメインに依存しない構造をドメイン固有のテクスチャから切り離す。
- 参考スコア(独自算出の注目度): 65.068801413044
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual test-time adaptation adapts a source-pretrained model to non-stationary, unlabeled target streams while retaining past competence, yet texture-biased backbones risk error accumulation and catastrophic forgetting. Drawing inspiration from the process of decoupling shape and texture in the human visual system, we introduce MoASE, a plug-in mixture-of-experts that disentangles domain-agnostic structure from domain-specific texture using Activation Sparsity Experts with Spatial Differentiable Dropout, forming complementary high- and low-activation pathways, while high- and low-rank bottlenecks diversify representations. The Activation Sparsity Gate produces input-adaptive SDD thresholds for precise token selection, and the Domain-Aware Router assigns per-sample expert weights using texture-sensitive cues. To curb confirmation bias on unlabeled streams and stabilize supervision, we then introduce Domain-Adaptive On-Policy Distillation to constitute MoASE++, with an EMA-anchored on-policy reverse KL distillation and an augmentation policy conditioned on entropy and confidence that aligns predictions across the same views and improves the robustness-plasticity balance. Extensive experiments on classification (CIFAR-10/100-C, ImageNet-C) and semantic segmentation (Cityscapes->ACDC) demonstrate consistent state-of-the-art performance, offering a principled, controllable approach to continual adaptation in dynamic visual environments.
- Abstract(参考訳): 連続的なテスト時間適応は、過去の能力を維持しながら、非定常的、ラベルなしのターゲットストリームにソース予測モデルを適用するが、テクスチャバイアスのあるバックボーンは、エラーの蓄積と破滅的な忘れを繰り返す。
ヒト視覚系における形状とテクスチャの分離プロセスからインスピレーションを得たMoASEは、ドメイン固有のテクスチャからドメイン非依存構造を解き放つためのプラグインミックスであり、アクティベーション・スパシティ・エキスパートと空間微分可能なドロップアウトを併用し、相補的なハイ・ロー・アクティベーション・パスを形成し、ハイ・ロー・ランクのボトルネックは表現を多様化する。
Activation Sparsity Gateは正確なトークン選択のための入力適応SDDしきい値を生成し、Domain-Aware Routerはテクスチャに敏感なキューを使用してサンプルごとのエキスパートウェイトを割り当てる。
ラベルのないストリームに対する確認バイアスを抑え、監督を安定させるために、MASE++を構成するためにドメイン適応型オンポリティ蒸留を導入し、EMA対応の逆KL蒸留とエントロピーと信頼を条件とした拡張ポリシーを導入し、同じ視点で予測を整合させ、ロバストネスと塑性のバランスを改善する。
分類(CIFAR-10/100-C, ImageNet-C)とセマンティックセグメンテーション(Cityscapes->ACDC)の広範な実験は、動的視覚環境における連続的適応に対する原則的かつ制御可能なアプローチを提供することにより、一貫した最先端性能を示す。
関連論文リスト
- FACTOR: Counterfactual Training-Free Test-Time Adaptation for Open-Vocabulary Object Detection [63.91351553178842]
FACTORはオープン語彙オブジェクト検出のためのトレーニング不要なテスト時間適応である。
属性依存性の予測を選択的に抑制するために、属性の感度、意味的関連性、予測のバリエーションを定量化する。
PASCAL-C, COCO-C, FoggyCityscapes の実験では、FACTOR が従来の TTA 法より一貫して優れていたことが示されている。
論文 参考訳(メタデータ) (2026-05-05T02:31:18Z) - Score-Guided Proximal Projection: A Unified Geometric Framework for Rectified Flow Editing [1.0312968200748118]
Rectified Flowモデルは最先端の世代品質を実現するが、正確なタスクのためにそれらを制御することは依然として困難である。
現在のアプローチは「幾何学的ロック」に苦しむ逆法に基づくガイダンスに分岐する
Score-Guided Proximal Projectionは,決定論的最適化と縮尺サンプリングのギャップを埋める統一フレームワークである。
論文 参考訳(メタデータ) (2026-03-05T23:44:45Z) - Semi-Supervised Hyperspectral Image Classification with Edge-Aware Superpixel Label Propagation and Adaptive Pseudo-Labeling [5.022329161015679]
本研究では,空間的事前情報と動的学習機構を組み合わせた半教師付きハイパースペクトル分類フレームワークを提案する。
擬似ラベル変動を緩和し,時間的一貫性と耐雑音性を向上する動的履歴融合予測法(DHP)を提案する。
Dynamic Reliability-Enhanced Pseudo-Label Framework (DREPL)は、時間的およびサンプルドメイン間の擬似ラベル安定性を強化する。
論文 参考訳(メタデータ) (2026-01-26T00:31:08Z) - Steering Vision-Language Pre-trained Models for Incremental Face Presentation Attack Detection [62.89126207012712]
顔提示攻撃検出(PAD)は、スプーフィング戦術やドメインと戦うために漸進的な学習を要求する。
過去のデータ保持を禁止し、リハーサルフリーラーニング(RF-IL)を必要とするプライバシー規制
論文 参考訳(メタデータ) (2025-12-22T04:30:11Z) - Uncertainty-Guided Selective Adaptation Enables Cross-Platform Predictive Fluorescence Microscopy [65.15943255667733]
自動深度選択機能付きサブネットワーク画像翻訳ADDA(SIT-ADDA-Auto)について紹介する。
より深い層を凍結しながら、最も初期の畳み込み層のみを適応させることで、信頼できる転送が得られることを示す。
この結果から,マイクロスコープにおけるラベルなし適応の設計規則とフィールド設定のレシピが提供され,コードが公開されている。
論文 参考訳(メタデータ) (2025-11-15T03:01:05Z) - Feature-Space Planes Searcher: A Universal Domain Adaptation Framework for Interpretability and Computational Efficiency [7.889121135601528]
現在の教師なし領域適応法は微調整特徴抽出器に依存している。
領域適応フレームワークとしてFPS(Feature-space Planes Searcher)を提案する。
FPSは最先端の手法と比較して,競争力や性能に優れることを示す。
論文 参考訳(メタデータ) (2025-08-26T05:39:21Z) - Efficient Test-time Adaptive Object Detection via Sensitivity-Guided Pruning [73.40364018029673]
連続的なテスト時間適応オブジェクト検出(CTTA-OD)は、源となる事前訓練された検出器を常に変化する環境にオンライン適応させることを目的としている。
私たちのモチベーションは、学習したすべての特徴が有益であるとは限らないという観察に起因しています。
FLOPの計算オーバヘッドを12%削減し,優れた適応性を実現する。
論文 参考訳(メタデータ) (2025-06-03T05:27:56Z) - ReservoirTTA: Prolonged Test-time Adaptation for Evolving and Recurring Domains [25.075869018443925]
ReservoirTTAは、長期間のテスト時間適応のために設計された新しいプラグインフレームワークである。
中心となるReservoirTTAはドメイン特化モデルの貯水池を維持している。
理論的解析により,パラメータの分散を束縛し,モデル崩壊を防ぐ重要な要素が明らかになった。
論文 参考訳(メタデータ) (2025-05-20T15:39:20Z) - Decomposing the Neurons: Activation Sparsity via Mixture of Experts for Continual Test Time Adaptation [37.79819260918366]
継続的なテスト時間適応(CTTA)は、トレーニング済みのモデルを進化し続けるターゲットドメインに適応させることを目的としている。
我々はCTTAタスクのアダプタとしてMixture-of-Activation-Sparsity-Experts (MoASE)の統合について検討する。
論文 参考訳(メタデータ) (2024-05-26T08:51:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。