論文の概要: MixTTA: Low-Rank Cross-Channel Mixing for Reliable Test-Time Adaptation
- arxiv url: http://arxiv.org/abs/2606.28142v2
- Date: Tue, 30 Jun 2026 12:07:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 13:50:27.709826
- Title: MixTTA: Low-Rank Cross-Channel Mixing for Reliable Test-Time Adaptation
- Title(参考訳): MixTTA: 信頼性の高いテスト時間適応のための低ランククロスチャネルミキシング
- Abstract要約: Test-Time Adaptation (TTA) メソッドはアフィンパラメータを更新し、分散シフトの下でデプロイされたモデルを適用する。
チャネルごとのアフィンパラメータは軸方向のスケーリングとシフトを行うため、チャネル間の構造変化を幾何的に修正することができない。
低ランクのクロスチャネル変換で正規化層を具備する軽量プラグインモジュールであるMixTTAを提案する。
- 参考スコア(独自算出の注目度): 9.36959143089459
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Test-Time Adaptation (TTA) methods commonly update the affine parameters of normalization layers to adapt deployed models under distribution shifts. However, per-channel affine parameters perform axis-aligned scaling and shifting, making them geometrically incapable of correcting cross-channel structural changes induced by distribution shift. To address this limitation, we propose MixTTA, a lightweight plug-in module that equips normalization layers with a low-rank cross-channel transformation, enabling inter-channel mixing at each layer. To ensure that the low-rank branch captures only cross-channel interactions, we also propose Decoupling Projection that enforces strict separation from the diagonal affine path, along with Spectral Projection that prevents rank-1 collapse under non-stationary test streams. MixTTA can be seamlessly integrated into any existing normalization-based TTA method. Experiments in both standard and wild TTA settings show consistent improvements over strong baselines while mitigating adaptation failure under challenging conditions. The source code is publicly available at https://github.com/delta6189/MixTTA.
- Abstract(参考訳): テスト時間適応(TTA)メソッドは、通常、正規化層のアフィンパラメータを更新し、分散シフトの下でデプロイされたモデルを適用する。
しかし、チャネルごとのアフィンパラメータは軸方向のスケーリングとシフトを行うため、分布シフトによって引き起こされるチャネル間の構造変化を幾何的に補正することができない。
この制限に対処するため,MixTTAを提案する。これは正規化層に低ランクのクロスチャネル変換を施し,各層でチャネル間混合を可能にする軽量なプラグインモジュールである。
低ランク分岐がチャネル間相互作用のみを捕捉することを保証するため、非定常試験ストリームにおけるランク1の崩壊を防止するスペクトル投影とともに、対角アフィン経路からの厳密な分離を強制するデカップリング射影を提案する。
MixTTAは、既存の正規化ベースのTTAメソッドにシームレスに統合することができる。
標準TTA設定とワイルドTTA設定の両方の実験では、強いベースラインよりも一貫した改善が見られたが、適応障害は困難な条件下で緩和された。
ソースコードはhttps://github.com/delta6189/MixTTAで公開されている。
関連論文リスト
- SPDCN: Strip-based Deformable Convolutional Network for Steel Surface Defect Segmentation [8.936780165911612]
変形性畳み込みネットワーク(SPDCN)のためのストリップベース予測器
textbfFuzzy-enhanced Multi-scale Context Module (FMCM)
textbf Direction-Aware Deformable Convolution (ADADC)
論文 参考訳(メタデータ) (2026-07-23T15:59:10Z) - Multi-Hypothesis Test-Time Adaptation to Mitigate Underspecification [36.471308624288035]
テスト時間適応(TTA)は、未ラベルのターゲットデータを用いてパラメータを適応させることにより、分散シフト下でのモデルロバスト性を改善することを目指している。
複数の異なるパラメータの更新は同様に低いエントロピーを達成し、決定境界を劇的に異なるものにする。
エントロピー最小化によって誘導される後部インスパイアされたレンズを通してTTAを再解釈し,低エントロピー解がパラメータ上の擬似類似性を定義する。
論文 参考訳(メタデータ) (2026-06-30T23:12:36Z) - PG-MAP: Joint MAP Optimization for Inference-Time Alignment of Diffusion and Flow-Matching Models [0.8594140167290097]
事前訓練されたテキスト-画像モデルの推測時間アライメントは、通常、単一の制御軸に沿って実行される。
我々は、軌道レベルのギブスマップ/近位エネルギー最適化として推論時間アライメントを定式化する、トレーニング不要のフレームワークPG-MAPを提案する。
論文 参考訳(メタデータ) (2026-06-22T07:36:36Z) - Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳(メタデータ) (2026-06-05T14:00:47Z) - GeoEdit: Local Frames for Fast, Training-Free On-Manifold Editing in Diffusion Models [9.1810262671279]
訓練なしの編集は通常、全ての編集強度の完全な装飾軌跡を再実行し、反復的な洗練が高価になる。
代わりに、小さなローカル更新が繰り返し再合成を置き換えることができるデータ多様体の近くで編集します。
提案アルゴリズムは、初期雑音に対する小さな摂動を通して接フレームを構築し、拡散に基づく投影と小さな接移動を交互に行う。
論文 参考訳(メタデータ) (2026-04-27T09:47:02Z) - Rethinking Test-Time Training: Tilting The Latent Distribution For Few-Shot Source-Free Adaptation [3.5808917363708743]
完全に凍結したモデル体制下で, 数ショット分類のための基礎モデルの試験時間適応について検討した。
本稿では,エンコーダによって誘導される潜伏埋め込み分布に対して,測定値の変更を行うことにより,新しいタスクに予測を適応させる,最初のトレーニング不要推論手法を提案する。
論文 参考訳(メタデータ) (2026-02-02T18:17:29Z) - MoETTA: Test-Time Adaptation Under Mixed Distribution Shifts with MoE-LayerNorm [13.63833424954647]
テスト時間適応(TTA)は、単一領域の分散シフト下での性能低下を軽減するのに有効であることが証明されている。
我々は,Mixture-of-Expertsアーキテクチャを統合した,新しいエントロピーベースのTTAフレームワークであるMoETTAを提案する。
論文 参考訳(メタデータ) (2025-11-14T10:24:06Z) - Test time training enhances in-context learning of nonlinear functions [51.56484100374058]
テストタイムトレーニング(TTT)は、各予測に先立って指定されたパラメータを明示的に更新することで、モデル性能を向上させる。
本研究では,TTTとテキスト内学習(ICL)の組み合わせについて検討する。
論文 参考訳(メタデータ) (2025-09-30T03:56:44Z) - Nesterov Method for Asynchronous Pipeline Parallel Optimization [59.79227116582264]
パイプライン並列処理における非同期最適化のために,Nesterov Accelerated Gradient (NAG) の変種を導入する。
具体的には、NAGのルックアヘッドステップを変更して、勾配の安定性を効果的に解決する。
我々は、勾配の固定遅延の存在下で、我々のアプローチがサブ線形速度で収束することを理論的に証明する。
論文 参考訳(メタデータ) (2025-05-02T08:23:29Z) - Achieving Near-Optimal Convergence for Distributed Minimax Optimization with Adaptive Stepsizes [22.022674600775993]
分散ミニマックス問題に直接適応的手法を適用することで,非収束性が得られることを示す。
追跡追跡プロトコルを用いた分散分散分散ミニマックス法であるD-AdaSTを提案する。
論文 参考訳(メタデータ) (2024-06-05T04:54:36Z) - Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析
本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。
我々の手法は、最先端の手法をクリアマージンで上回る。
論文 参考訳(メタデータ) (2023-07-16T16:32:14Z) - The Implicit Bias of Batch Normalization in Linear Models and Two-layer
Linear Convolutional Neural Networks [117.93273337740442]
勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。
また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
論文 参考訳(メタデータ) (2023-06-20T16:58:00Z) - Distribution Mismatch Correction for Improved Robustness in Deep Neural
Networks [86.42889611784855]
正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる
本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。
実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文 参考訳(メタデータ) (2021-10-05T11:36:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。