論文の概要: Whitening Improves Robustness to Spurious Correlations in Linear Probes

• arxiv url: http://arxiv.org/abs/2609.39177v1
• Date: Wed, 30 Sep 2026 07:34:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.392666
• Title: Whitening Improves Robustness to Spurious Correlations in Linear Probes
• Title（参考訳）: ホワイトニングはリニアプローブの鮮やかな相関にロバスト性を改善する
• Abstract要約: ディープニューラルネットワークは、刺激的で一般化に失敗する可能性のある単純な機能に依存する傾向がある。 既存のアプローチを追加すると、白化によって堅牢性が向上することを示す。
• 参考スコア（独自算出の注目度）: 8.749675983608169
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks tend to rely on simple features that may be spurious and thus fail to generalize. We study this problem in the setting of linear probes, where a (generalized) linear model is fitted on the representations of a (pretrained) model. We use the connection of these models to the max-margin classifier, and show they favor directions associated with large eigenvalues of the covariance matrix. Whitening removes this preference by equalizing the eigenvalues of the covariance matrix. This observation motivates whitening as a preprocessing step that can reduce reliance on spurious correlations without requiring prior knowledge of their presence or labeled data. We examine the effect of whitening on a synthetic data-generating process and standard spurious correlation benchmarks, and find that it improves robustness. We also find that whitening can improve robustness when added to existing approaches.
• Abstract（参考訳）: ディープニューラルネットワークは、刺激的で一般化に失敗する可能性のある単純な機能に依存する傾向がある。 この問題を線形プローブの設定において検討し、(一般化された)線形モデルを(事前制約された)モデルの表現に適合させる。 これらのモデルの最大マルギン分類器への接続を利用し、共分散行列の大きな固有値に関連する方向を好んで示す。 ホワイトニングはこの選好を共分散行列の固有値を等化することによって取り除く。 この観察は、白化を前処理ステップとして動機付け、それらの存在やラベル付きデータの事前の知識を必要とせずに、急激な相関への依存を減らすことができる。 ホワイトニングが合成データ生成プロセスおよび標準スプリアス相関ベンチマークに与える影響について検討し、ロバスト性を向上させることを確認する。 また、既存のアプローチに追加された場合、白化が堅牢性を改善する可能性があることもわかりました。

関連論文リスト

• Zeta: Dual Whitening for Matrix Optimization via Coordinate-Adaptive Preconditioning [56.24532075189964]
  我々は、厳密に順序付けられたパイプラインで座標白化とスペクトル白化を施した二重白化であるゼータを提案する。 我々はZetaが言語モデリング(0.6Bから8Bパラメータ)、Mix-of-expertsアーキテクチャ、ビジョンタスクにまたがる強力なベースラインに適合しているか、あるいは超越していることを証明する。
  論文  参考訳（メタデータ） (2026-06-12T07:10:17Z)
• What Really Matters in Matrix-Whitening Optimizers? [99.7641280234926]
  行列白化法は要素的に確実に優れていることを示す。 ベト・アダプテッド・バージョンは、サイン・ディフレッシュ・バージョンよりも一貫して上回っている。 低ランク分散推定器は性能損失を伴わずにメモリコストを効果的に削減できる。
  論文  参考訳（メタデータ） (2025-10-28T21:59:49Z)
• Data coarse graining can improve model performance [7.325551965751601]
  データの粗粒化」下における高次元リッジ正規化線形回帰の可解モデルを用いたパラドックスの研究 統計物理学における正規化群に着想を得て,学習課題との関連性に基づいて,特徴を体系的に捨てる粗粒化スキームを解析した。 この結果は,データの構造によって形成される複雑で非単調なリスクランドスケープに注目し,統計物理学からのアイデアが,現代の機械学習現象を理解するための原理化されたレンズをいかに提供するかを説明する。
  論文  参考訳（メタデータ） (2025-09-18T00:17:01Z)
• Controllable Feature Whitening for Hyperparameter-Free Bias Mitigation [26.926297904648393]
  ディープニューラルネットワークは、データセットに存在する急激な相関を学習することができる。 目的とバイアスの特徴の線形相関を共分散行列により定量化し, ホワイトニングモジュールを通して除去する。 提案手法は,4つのベンチマークデータセットにおける既存手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-07-27T14:01:30Z)
• Kernel-Whitening: Overcome Dataset Bias with Isotropic Sentence Embedding [51.48582649050054]
  符号化文の特徴間の相関関係を解消する表現正規化手法を提案する。 またNystromカーネル近似法であるKernel-Whiteningを提案する。 実験により,Kernel-Whiteningは分布内精度を維持しつつ,分布外データセット上でのBERTの性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2022-10-14T05:56:38Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)
• Learning Causal Models Online [103.87959747047158]
  予測モデルは、予測を行うためにデータの急激な相関に依存することができる。 強い一般化を達成するための一つの解決策は、モデルに因果構造を組み込むことである。 本稿では,突発的特徴を継続的に検出・除去するオンラインアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-12T20:49:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。