論文の概要: Perturbation Sensitivity at Convergence: A Simple Signal for Identifying Spuriously Correlated Samples
- arxiv url: http://arxiv.org/abs/2608.05419v1
- Date: Wed, 05 Aug 2026 21:29:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.787275
- Title: Perturbation Sensitivity at Convergence: A Simple Signal for Identifying Spuriously Correlated Samples
- Title(参考訳): 収束時の摂動感度:局所的関連サンプルの同定のための簡易信号
- Abstract要約: スプリアス相関を含むデータに対する経験的リスク最小化により訓練されたモデルは、相関が保たないサブポピュレーションで失敗しながら、高い平均精度を達成する。
両個体群を区別しなくなった場合, 収束後に使用可能な信号が利用可能であることが示される。
検出されたサンプルをトレーニングのバランスに使用すると、ウォーターバードの最悪のグループ精度が57.3%から80.8%に上昇し、また、接地型グループラベルでは85.8%に上昇する。
- 参考スコア(独自算出の注目度): 2.036610981667781
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Models trained by empirical risk minimization on data containing spurious correlations achieve high average accuracy while failing on subpopulations where the correlation does not hold. Existing methods for identifying the affected samples without group annotations rely on signals from early training, which requires locating the epoch at which to intervene, a hyperparameter typically selected using group-labeled validation data. We show that a usable signal is available after convergence, when loss no longer distinguishes the two populations. Samples consistent with the spurious correlation are classified by a shared rule, while the remaining samples are fit through configurations specific to individual inputs and are correspondingly more fragile. Applying a fixed perturbation to a converged model's inputs flips the predictions of the latter far more often than the former. The resulting procedure requires two forward passes per training sample, no group annotations at any stage, and no early-stopping epoch. Using the detected samples to rebalance training raises worst-group accuracy on Waterbirds from 57.3% to 80.8%, against 85.8% with ground-truth group labels.
- Abstract(参考訳): スプリアス相関を含むデータに対する経験的リスク最小化により訓練されたモデルは、相関が保たないサブポピュレーションで失敗しながら、高い平均精度を達成する。
グループアノテーションを使わずに影響を受けるサンプルを識別する既存の方法は、グループラベルの検証データを用いて選択されるハイパーパラメータであるエポックの位置を特定する必要がある早期訓練からの信号に依存している。
両個体群を区別しなくなった場合, 収束後に使用可能な信号が利用可能であることが示される。
スプリアス相関に整合したサンプルは共有規則で分類され、残りのサンプルは個々の入力に特有の構成により適合し、より脆弱である。
収束モデルの入力に固定摂動を適用すると、後者の予測は前者よりもはるかに頻繁に反転する。
結果として得られた手順は、トレーニングサンプル毎に2つのフォワードパスを必要とし、どの段階でもグループアノテーションは必要とせず、早期に停止するエポックも必要としない。
検出されたサンプルを用いてトレーニングを再バランスさせることで、ウォーターバードの最悪のグループ精度が57.3%から80.8%に上昇し、また、接地基数ラベルの85.8%に上昇した。
関連論文リスト
- Post-Hoc Trajectory-Risk Certification for Modular LLM-Based Security Agents [1.4915002678801434]
ボンフェロニ配置は分布自由であるが,相関誤差下では保守的であることを示す。
粗いラベルの選択は、学習された依存なしにほぼ完璧な相関関係を作ることができる。
ステージ単位の証明書とペアの重なり合うバウンドを用いたモジュール証明書は、正の平均利得が0.6%となる。
論文 参考訳(メタデータ) (2026-08-04T23:48:36Z) - Mitigating Spurious Correlations with Memorization-Guided Dataset De-Biasing [8.645414910735449]
コアおよびスパイラル特徴の学習力学をアンハングリングする2段階のサンプルスコアリング関数を開発した。
提案手法は,提案手法を用いて,突発的相関を伴わずに,情報的サンプルの発見と優先順位付けを行うアルゴリズムを提案する。
論文 参考訳(メタデータ) (2026-06-01T19:48:20Z) - Active Data Sampling and Generation for Bias Remediation [0.0]
トレーニング済みのクラスを微調整する際、不公平な分類を補うために、サンプリングとデータ生成の混合戦略が提案されている。
視覚的セマンティック・ロール・ラベリングのためのDeep Modelsのケーススタディとして、提案手法は90/10の不均衡から始まるシミュレートされたジェンダーバイアスを完全に解決することができる。
論文 参考訳(メタデータ) (2025-03-26T10:42:15Z) - Trained Models Tell Us How to Make Them Robust to Spurious Correlation without Group Annotation [3.894771553698554]
経験的リスク最小化(ERM)モデルは、ターゲットと高い刺激的な相関を持つ属性に依存する傾向がある。
これにより、これらの属性を欠いた未表現(または'マイナー')グループのパフォーマンスを低下させることができる。
本稿では,環境に基づく検証と損失に基づくサンプリング(EVaLS)を提案する。
論文 参考訳(メタデータ) (2024-10-07T08:17:44Z) - Bias Amplification Enhances Minority Group Performance [10.380812738348899]
本稿では,新しい2段階学習アルゴリズムであるBAMを提案する。
第1段階では、各トレーニングサンプルに対して学習可能な補助変数を導入することにより、バイアス増幅方式を用いてモデルを訓練する。
第2段階では、バイアス増幅モデルが誤分類したサンプルを重み付けし、その後、再重み付けされたデータセット上で同じモデルをトレーニングし続けます。
論文 参考訳(メタデータ) (2023-09-13T04:40:08Z) - Breaking the Spurious Causality of Conditional Generation via Fairness
Intervention with Corrective Sampling [77.15766509677348]
条件生成モデルは、トレーニングデータセットから急激な相関を継承することが多い。
これは別の潜在属性に対して不均衡なラベル条件分布をもたらす。
この問題を緩和するための一般的な2段階戦略を提案する。
論文 参考訳(メタデータ) (2022-12-05T08:09:33Z) - Hierarchical Semi-Supervised Contrastive Learning for
Contamination-Resistant Anomaly Detection [81.07346419422605]
異常検出は、通常のデータ分布から逸脱したサンプルを特定することを目的としている。
コントラスト学習は、異常の効果的な識別を可能にする表現のサンプル化に成功している。
汚染耐性異常検出のための新しい階層型半教師付きコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-24T18:49:26Z) - An analysis of over-sampling labeled data in semi-supervised learning
with FixMatch [66.34968300128631]
ほとんどの半教師付き学習手法は、ミニバッチを訓練する際にラベルをオーバーサンプルする。
本稿では,この実践が学習と方法を改善するかどうかを考察する。
ラベル付けの有無に関わらず、トレーニングデータから各ミニバッチを均一にサンプリングする別の設定と比較する。
論文 参考訳(メタデータ) (2022-01-03T12:22:26Z) - Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。
分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。
本手法は精度と不確実性の両方を向上することを示す。
論文 参考訳(メタデータ) (2021-09-27T01:09:08Z) - Exploiting Sample Uncertainty for Domain Adaptive Person
Re-Identification [137.9939571408506]
各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。
不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
論文 参考訳(メタデータ) (2020-12-16T04:09:04Z) - An Investigation of Why Overparameterization Exacerbates Spurious
Correlations [98.3066727301239]
この動作を駆動するトレーニングデータの2つの重要な特性を特定します。
モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
論文 参考訳(メタデータ) (2020-05-09T01:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。