論文の概要: Pulling Up by the Causal Bootstraps: Causal Data Augmentation for
Pre-training Debiasing
- arxiv url: http://arxiv.org/abs/2108.12510v1
- Date: Fri, 27 Aug 2021 21:42:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-31 14:33:11.240403
- Title: Pulling Up by the Causal Bootstraps: Causal Data Augmentation for
Pre-training Debiasing
- Title(参考訳): Causal BootstrapsによるPulling Up: トレーニング前障害に対するCausal Data Augmentation
- Authors: Sindhu C.M. Gowda, Shalmali Joshi, Haoran Zhang and Marzyeh Ghassemi
- Abstract要約: 我々は、因果ブートストレッピングと呼ばれる因果訓練前脱バイアス技術の研究と拡張を行った。
このような因果前訓練技術が,既存のベースプラクティスを大幅に上回ることを示す。
- 参考スコア(独自算出の注目度): 14.4304416146106
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning models achieve state-of-the-art performance on many
supervised learning tasks. However, prior evidence suggests that these models
may learn to rely on shortcut biases or spurious correlations (intuitively,
correlations that do not hold in the test as they hold in train) for good
predictive performance. Such models cannot be trusted in deployment
environments to provide accurate predictions. While viewing the problem from a
causal lens is known to be useful, the seamless integration of causation
techniques into machine learning pipelines remains cumbersome and expensive. In
this work, we study and extend a causal pre-training debiasing technique called
causal bootstrapping (CB) under five practical confounded-data
generation-acquisition scenarios (with known and unknown confounding). Under
these settings, we systematically investigate the effect of confounding bias on
deep learning model performance, demonstrating their propensity to rely on
shortcut biases when these biases are not properly accounted for. We
demonstrate that such a causal pre-training technique can significantly
outperform existing base practices to mitigate confounding bias on real-world
domain generalization benchmarking tasks. This systematic investigation
underlines the importance of accounting for the underlying data-generating
mechanisms and fortifying data-preprocessing pipelines with a causal framework
to develop methods robust to confounding biases.
- Abstract(参考訳): 機械学習モデルは、多くの教師付き学習タスクで最先端のパフォーマンスを達成する。
しかし、以前の証拠は、これらのモデルが優れた予測性能のために近距離バイアスや(直観的には、試験中に保持されない相関)散発的な相関に依存することを学んでいることを示唆している。
このようなモデルは、正確な予測を提供するため、デプロイメント環境では信頼できない。
因果レンズから問題を見ることは有用であることが知られているが、機械学習パイプラインへの因果テクニックのシームレスな統合は複雑で高価である。
本研究では, 因果ブートストラップ (CB) と呼ばれる因果学習前脱バイアス法を, 5つの既成データ生成獲得シナリオに基づいて検討し, 拡張する。
これらの条件下では, バイアスが深層学習モデルの性能に与える影響を系統的に検討し, バイアスが適切に考慮されていない場合に, ショートカットバイアスに依存する傾向を示す。
このような因果的事前学習手法が,実世界のドメイン一般化ベンチマークタスクにおける偏りを緩和するために,既存のベースプラクティスを著しく上回ることを実証する。
この体系的な調査は、基盤となるデータ生成メカニズムの会計の重要性と、バイアスの形成にロバストな方法を開発するための因果的フレームワークによるデータ前処理パイプラインの強化を強調するものだ。
関連論文リスト
- Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2024-03-11T16:22:41Z) - Root Causing Prediction Anomalies Using Explainable AI [3.970146574042422]
本稿では,機械学習モデルにおける根源的性能劣化に対する説明可能なAI(XAI)の新たな応用法を提案する。
単一機能の破損は、カスケード機能、ラベル、コンセプトドリフトを引き起こす可能性がある。
我々は、パーソナライズされた広告に使用されるモデルの信頼性を向上させるために、この手法をうまく応用した。
論文 参考訳(メタデータ) (2024-03-04T19:38:50Z) - SLEM: Machine Learning for Path Modeling and Causal Inference with Super
Learner Equation Modeling [3.988614978933934]
因果推論は科学の重要な目標であり、研究者は観測データを使って意味のある結論に達することができる。
経路モデル、構造方程式モデル(SEM)および指向非巡回グラフ(DAG)は、現象の根底にある因果構造に関する仮定を明確に特定する手段を提供する。
本稿では,機械学習のスーパーラーナーアンサンブルを統合したパスモデリング手法であるSuper Learner Equation Modelingを提案する。
論文 参考訳(メタデータ) (2023-08-08T16:04:42Z) - Deception by Omission: Using Adversarial Missingness to Poison Causal
Structure Learning [12.208616050090027]
観測データから因果構造を推定することは因果機械学習の重要な要素である。
これまでの研究では、完全に観察されたトレーニングデータの逆流が、不正確な因果構造モデルの学習に役立てられることが示されている。
本研究は,学習因果構造に偏りを与えるために,敵対者が真の訓練データの一部を欺くような新たな攻撃手法を導入する。
論文 参考訳(メタデータ) (2023-05-31T17:14:20Z) - Repairing Neural Networks by Leaving the Right Past Behind [23.78437548836594]
機械学習モデルの予測失敗は、トレーニングデータの欠陥から生じることが多い。
この研究は、目標とする障害を発生させたトレーニング例を特定し、それらに関する情報を消去することでモデルを修正するための一般的なフレームワークを開発する。
論文 参考訳(メタデータ) (2022-07-11T12:07:39Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-20T14:47:32Z) - Learning from others' mistakes: Avoiding dataset biases without modeling
them [111.17078939377313]
最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。
これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。
本稿では,これらの問題点を無視する学習モデルについて述べる。
論文 参考訳(メタデータ) (2020-12-02T16:10:54Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-09-30T05:29:01Z) - Towards Debiasing NLU Models from Unknown Biases [70.31427277842239]
NLUモデルは、しばしばバイアスを利用して、意図したタスクを適切に学習することなく、データセット固有の高いパフォーマンスを達成する。
本稿では、モデルがバイアスを事前に知ることなく、主にバイアスを利用するのを防ぐ自己バイアスフレームワークを提案する。
論文 参考訳(メタデータ) (2020-09-25T15:49:39Z) - Learning from Failure: Training Debiased Classifier from Biased
Classifier [76.52804102765931]
ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。
本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。
本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
論文 参考訳(メタデータ) (2020-07-06T07:20:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。