論文の概要: Neural Collapse in Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2512.10421v1
• Date: Thu, 11 Dec 2025 08:34:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-12 16:15:42.28205
• Title: Neural Collapse in Test-Time Adaptation
• Title（参考訳）: テスト時間適応における神経崩壊
• Authors: Xiao Chen, Zhongjing Du, Jiazhen Huang, Xu Jiang, Li Lu, Jingyan Jiang, Zhi Wang,
• Abstract要約: Test-Time Adaptation (TTA)は、推論中にモデルをオンラインに更新することで、アウト・オブ・ディストリビューションデータに対する堅牢性を高める。 近年、ディープニューラルネットワーク(DNN)の創発的幾何学的性質としてニューラル・コラプス(NC)が提案されている。 性能劣化は, より大きな分布シフトの下で悪化する適応のサンプルワイズミスアライメントに起因していると確認した。 我々は,信頼できない擬似ラベルの影響を軽減するために,ハイブリッドターゲットを用いた特徴分類器アライメント手法であるNCTTAを提案する。
• 参考スコア（独自算出の注目度）: 12.636904518839303
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-Time Adaptation (TTA) enhances model robustness to out-of-distribution (OOD) data by updating the model online during inference, yet existing methods lack theoretical insights into the fundamental causes of performance degradation under domain shifts. Recently, Neural Collapse (NC) has been proposed as an emergent geometric property of deep neural networks (DNNs), providing valuable insights for TTA. In this work, we extend NC to the sample-wise level and discover a novel phenomenon termed Sample-wise Alignment Collapse (NC3+), demonstrating that a sample's feature embedding, obtained by a trained model, aligns closely with the corresponding classifier weight. Building on NC3+, we identify that the performance degradation stems from sample-wise misalignment in adaptation which exacerbates under larger distribution shifts. This indicates the necessity of realigning the feature embeddings with their corresponding classifier weights. However, the misalignment makes pseudo-labels unreliable under domain shifts. To address this challenge, we propose NCTTA, a novel feature-classifier alignment method with hybrid targets to mitigate the impact of unreliable pseudo-labels, which blends geometric proximity with predictive confidence. Extensive experiments demonstrate the effectiveness of NCTTA in enhancing robustness to domain shifts. For example, NCTTA outperforms Tent by 14.52% on ImageNet-C.
• Abstract（参考訳）: テスト時間適応(TTA)は、推論中にモデルをオンラインに更新することで、アウト・オブ・ディストリビューション(OOD)データに対するモデルロバスト性を向上するが、既存の手法では、ドメインシフトによるパフォーマンス劣化の根本的な原因に関する理論的洞察が欠如している。 近年、ディープニューラルネットワーク(DNN)の創発的幾何学的性質としてニューラル・コラプス(NC)が提案され、TTAに貴重な洞察を与えている。 そこで本研究では,サンプルワイド・アライメント・コラプス(NC3+)と呼ばれる新しい現象を発見し,サンプルの特徴埋め込みが学習モデルによって得られたもので,対応する分類器の重量と密接に一致していることを示す。 NC3+をベースとした実験では, 分散シフトが大きくなると, 適応における標本の誤りが原因であることが確認された。 このことは、特徴埋め込みを対応する分類器の重みで再定義する必要性を示している。 しかし、このミスアライメントは、ドメインシフト時に擬似ラベルを信頼できないものにする。 この課題に対処するために,信頼できない擬似ラベルの影響を軽減するために,ハイブリッドターゲットを用いた特徴分類器アライメント手法であるNCTTAを提案する。 広範囲にわたる実験は、ドメインシフトに対する堅牢性を高めるNCTTAの有効性を実証している。 例えば、NCTTAはImageNet-CでTentを14.52%上回っている。

関連論文リスト

• Open-World Test-Time Adaptation with Hierarchical Feature Aggregation and Attention Affine [17.151364853811128]
  テスト時間適応(TTA)とは、サンプル分布の変化に対処するため、テストフェーズ中にモデルを調整することを指す。 本稿では,すべてのトランスフォーマー層に集約されたクラストークンからOOD特徴を抽出する階層ラダーネットワークを提案する。 また、トークン情報に基づく自己認識機構を適応的に洗練し、ドメインのドリフトに適応するアテンションアフィンネットワーク(AAN)を導入する。
  論文  参考訳（メタデータ） (2025-11-16T14:05:23Z)
• PseudoNeg-MAE: Self-Supervised Point Cloud Learning using Conditional Pseudo-Negative Embeddings [55.55445978692678]
  PseudoNeg-MAEは、ポイントクラウドマスマスキングオートエンコーダのグローバルな特徴表現を強化する。 本研究では,ネットワークが識別的表現を保ちながら,よりリッチな変換キューをキャプチャできる新たな損失を提案する。
  論文  参考訳（メタデータ） (2024-09-24T07:57:21Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• FRGNN: Mitigating the Impact of Distribution Shift on Graph Neural Networks via Test-Time Feature Reconstruction [13.21683198528012]
  分散シフトはグラフニューラルネットワーク(GNN)のテスト性能に悪影響を及ぼす可能性がある 特徴再構成を行うための汎用フレームワークFR-GNNを提案する。 特に、再構成されたノード機能は、よく訓練されたモデルをテストするために直接利用することができる。
  論文  参考訳（メタデータ） (2023-08-18T02:34:37Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。