論文の概要: Adapt in the Wild: Test-Time Entropy Minimization with Sharpness and Feature Regularization

• arxiv url: http://arxiv.org/abs/2509.04977v1
• Date: Fri, 05 Sep 2025 10:03:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.558594
• Title: Adapt in the Wild: Test-Time Entropy Minimization with Sharpness and Feature Regularization
• Title（参考訳）: ワイルドに適応する:シャープネスと特徴正規化によるテスト時間エントロピー最小化
• Authors: Shuaicheng Niu, Guohao Chen, Deyu Chen, Yifan Zhang, Jiaxiang Wu, Zhiquan Wen, Yaofo Chen, Peilin Zhao, Chunyan Miao, Mingkui Tan,
• Abstract要約: テスト時適応(TTA)は、テストデータが分散シフトが混在している場合、モデルの性能を改善または損なう可能性がある。 これはしばしば、既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。 両面からTTAを安定化させるため,SARと呼ばれる鋭く信頼性の高いエントロピー最小化手法を提案する。
• 参考スコア（独自算出の注目度）: 85.50560211492898
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time adaptation (TTA) may fail to improve or even harm the model performance when test data have: 1) mixed distribution shifts, 2) small batch sizes, 3) online imbalanced label distribution shifts. This is often a key obstacle preventing existing TTA methods from being deployed in the real world. In this paper, we investigate the unstable reasons and find that the batch norm layer is a crucial factor hindering TTA stability. Conversely, TTA can perform more stably with batch-agnostic norm layers, i.e., group or layer norm. However, we observe that TTA with group and layer norms does not always succeed and still suffers many failure cases, i.e., the model collapses into trivial solutions by assigning the same class label for all samples. By digging into this, we find that, during the collapse process: 1) the model gradients often undergo an initial explosion followed by rapid degradation, suggesting that certain noisy test samples with large gradients may disrupt adaptation; and 2) the model representations tend to exhibit high correlations and classification bias. To address this, we first propose a sharpness-aware and reliable entropy minimization method, called SAR, for stabilizing TTA from two aspects: 1) remove partial noisy samples with large gradients, 2) encourage model weights to go to a flat minimum so that the model is robust to the remaining noisy samples. Based on SAR, we further introduce SAR^2 to prevent representation collapse with two regularizers: 1) a redundancy regularizer to reduce inter-dimensional correlations among centroid-invariant features; and 2) an inequity regularizer to maximize the prediction entropy of a prototype centroid, thereby penalizing biased representations toward any specific class. Promising results demonstrate that our methods perform more stably over prior methods and are computationally efficient under the above wild test scenarios.
• Abstract（参考訳）: テスト時適応(TTA)は、テストデータが持つ場合、モデルのパフォーマンスを改善または損なうことさえできない。 1)混合分布シフト 2)小さなバッチサイズ。 3) オンライン不均衡ラベル分布シフト。 これはしばしば、既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。 本稿では,不安定な原因を調査し,バッチ標準層がTTA安定性を阻害する重要な要因であることを示す。 逆にTTAは、バッチ非依存のノルム層、すなわちグループまたはレイヤノルムでより安定に実行することができる。 しかし、グループノルムと層ノルムを持つTTAは必ずしも成功せず、まだ多くの障害を抱えている、すなわち、モデルがすべてのサンプルに対して同じクラスラベルを割り当てることで、自明な解決へと崩壊する。 これを掘り下げると、崩壊の過程で、次のことが分かる。 1) モデル勾配は初期爆発の後に急激な劣化を伴い, 大きな勾配を有するノイズ試験試料が適応を阻害する可能性があることを示唆する。 2) モデル表現は高い相関関係と分類バイアスを示す傾向にある。 そこで我々はまず,TTAを2つの側面から安定化するためのSARという,シャープで信頼性の高いエントロピー最小化手法を提案する。 1) 大きな勾配のある部分雑音サンプルを除去する。 2) モデルウェイトは、モデルが残りのノイズサンプルに対して堅牢になるよう、最小限の平坦化を奨励する。 SARに基づいて,2つの正規化器による表現崩壊を防止するために,さらにSAR^2を導入する。 1) セントロイド不変の特徴間の次元的相関を減少させる冗長性正則化器,及び 2) 不等式正規化器は、プロトタイプセントロイドの予測エントロピーを最大化し、任意の特定のクラスに対して偏りのある表現をペナルティ化する。 その結果,本手法は従来手法よりも安定に動作し,上述のワイルドテストシナリオでは計算効率がよいことがわかった。

関連論文リスト

• ETAGE: Enhanced Test Time Adaptation with Integrated Entropy and Gradient Norms for Robust Model Performance [18.055032898349438]
  テスト時間適応(TTA)は、トレーニング分布から逸脱した未確認のテストデータを扱うために、ディープラーニングモデルを備えている。 本稿では,エントロピー最小化と勾配ノルム,PLPDを統合した改良TTA手法ETAGEを紹介する。 提案手法は,高エントロピーと高勾配ノルムを適応から組み合わせることで,不安定を生じにくいサンプルを優先する。
  論文  参考訳（メタデータ） (2024-09-14T01:25:52Z)
• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [65.21599711087538]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• Decoupled Prototype Learning for Reliable Test-Time Adaptation [50.779896759106784]
  テスト時間適応(TTA)は、推論中にトレーニング済みのソースモデルをターゲットドメインに継続的に適応させるタスクである。 1つの一般的なアプローチは、推定擬似ラベルによるクロスエントロピー損失を伴う微調整モデルである。 本研究は, 各試料の分類誤差を最小化することで, クロスエントロピー損失の脆弱性がラベルノイズを引き起こすことを明らかにした。 本稿では,プロトタイプ中心の損失計算を特徴とする新しいDPL法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T03:33:39Z)
• Persistent Test-time Adaptation in Recurring Testing Scenarios [12.024233973321756]
  現在のテスト時間適応(TTA)アプローチは、継続的に変化する環境に機械学習モデルを適用することを目的としている。 しかし,TTA法が長期にわたって適応性を維持することができるかどうかは不明である。 本稿では,モデルが崩壊に向かって変動していることを検知し,適応戦略を調整する永続的TTA(PeTTA)を提案する。
  論文  参考訳（メタデータ） (2023-11-30T02:24:44Z)
• Towards Stable Test-Time Adaptation in Dynamic Wild World [60.98073673220025]
  テスト時間適応(TTA)は、与えられたモデルをテストサンプルに適応させることで、トレーニングとテストデータの分散シフトに取り組むのに有効であることが示されている。 TTAのオンラインモデル更新は不安定であり、これはしばしば既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。
  論文  参考訳（メタデータ） (2023-02-24T02:03:41Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。