論文の概要: From Invariant Representations to Invariant Data: Provable Robustness to Spurious Correlations via Noisy Counterfactual Matching

• arxiv url: http://arxiv.org/abs/2505.24843v1
• Date: Fri, 30 May 2025 17:42:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:53.107159
• Title: From Invariant Representations to Invariant Data: Provable Robustness to Spurious Correlations via Noisy Counterfactual Matching
• Title（参考訳）: 不変表現から不変データへ:ノイズ対実整合による確率的ロバスト性から純粋相関
• Authors: Ruqi Bai, Yao Ji, Zeyu Zhou, David I. Inouye,
• Abstract要約: 最近の代替手段はテストタイムデータを活用することで堅牢性を向上させるが、実際にはそのようなデータは利用できないかもしれない。 不変なデータペアとノイズの多い逆ファクトマッチングを活用することで、データ中心のアプローチを取る。 我々は、合成データセット上で検証し、事前訓練されたバックボーン上の線形探索が堅牢性を向上させる実世界のベンチマークを実証する。
• 参考スコア（独自算出の注目度）: 11.158961763380278
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spurious correlations can cause model performance to degrade in new environments. Prior causality-inspired works aim to learn invariant representations (e.g., IRM) but typically underperform empirical risk minimization (ERM). Recent alternatives improve robustness by leveraging test-time data, but such data may be unavailable in practice. To address these issues, we take a data-centric approach by leveraging invariant data pairs, pairs of samples that would have the same prediction with the optimally robust classifier. We prove that certain counterfactual pairs will naturally satisfy this invariance property and introduce noisy counterfactual matching (NCM), a simple constraint-based method for leveraging invariant pairs for enhanced robustness, even with a small set of noisy pairs-in the ideal case, each pair can eliminate one spurious feature. For linear causal models, we prove that the test domain error can be upper bounded by the in-domain error and a term that depends on the counterfactuals' diversity and quality. We validate on a synthetic dataset and demonstrate on real-world benchmarks that linear probing on a pretrained backbone improves robustness.
• Abstract（参考訳）: 鮮やかな相関は、新しい環境でモデルパフォーマンスを劣化させる可能性がある。 因果性に触発された以前の研究は、不変表現(例えば、IRM)を学ぶことを目的としていたが、典型的には経験的リスク最小化(ERM)を過小評価する。 最近の代替手段はテストタイムデータを活用することで堅牢性を向上させるが、実際にはそのようなデータは利用できないかもしれない。 これらの問題に対処するために、最適なロバストな分類器で同じ予測をする不変なデータペア、サンプルのペアを活用することで、データ中心のアプローチをとる。 我々は,ある反事実対が自然にこの不変性を満たすことを証明し,その反事実マッチング(NCM)を導入する。 線形因果モデルでは、テスト領域の誤差がドメイン内エラーによって上界化可能であること、および反ファクトの多様性と品質に依存する用語が証明される。 我々は、合成データセット上で検証し、事前訓練されたバックボーン上の線形探索が堅牢性を向上させる実世界のベンチマークを実証する。

関連論文リスト

• Robust Gaussian Processes via Relevance Pursuit [17.39376866275623]
  本稿では,データポイント固有ノイズレベルを推定することにより,スパースアウトレーヤに対するロバスト性を実現するGPモデルを提案する。 我々は,データポイント固有ノイズ分散において,関連する対数限界確率が強く抑制されるようなパラメータ化が可能であることを,驚くべきことに示している。
  論文  参考訳（メタデータ） (2024-10-31T17:59:56Z)
• ROTI-GCV: Generalized Cross-Validation for right-ROTationally Invariant Data [1.194799054956877]
  高次元正規化回帰における2つの重要なタスクは、正確な予測のために正規化強度を調整し、サンプル外リスクを推定することである。 問題のある条件下でクロスバリデーションを確実に行うための新しいフレームワーク ROTI-GCV を導入する。
  論文  参考訳（メタデータ） (2024-06-17T15:50:00Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Faithful Heteroscedastic Regression with Neural Networks [2.2835610890984164]
  パラメータマップにニューラルネットワークを使用するパラメトリックメソッドは、データ内の複雑な関係をキャプチャすることができる。 ヘテロスセダティックなモデルを生成するために最適化に2つの簡単な修正を加え、ホモスセダティックなモデルとほぼ同等の精度で推定する。 提案手法は,等しくフレキシブルな平均値のみのモデルの精度を維持しつつ,クラスごとの分散キャリブレーションも提供する。
  論文  参考訳（メタデータ） (2022-12-18T22:34:42Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Robust Bayesian Inference for Discrete Outcomes with the Total Variation Distance [5.139874302398955]
  離散的に評価された結果のモデルは、データがゼロインフレーション、過分散または汚染を示す場合、容易に誤特定される。 ここでは、Ttal Variation Distance (TVD) を用いた頑健な相違に基づくベイズ的アプローチを提案する。 我々は、我々のアプローチが堅牢で、シミュレーションおよび実世界のデータの範囲で予測性能を著しく改善していることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-26T09:53:06Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。