論文の概要: Pulling Up by the Causal Bootstraps: Causal Data Augmentation for Pre-training Debiasing

• arxiv url: http://arxiv.org/abs/2108.12510v1
• Date: Fri, 27 Aug 2021 21:42:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-31 14:33:11.240403
• Title: Pulling Up by the Causal Bootstraps: Causal Data Augmentation for Pre-training Debiasing
• Title（参考訳）: Causal BootstrapsによるPulling Up: トレーニング前障害に対するCausal Data Augmentation
• Authors: Sindhu C.M. Gowda, Shalmali Joshi, Haoran Zhang and Marzyeh Ghassemi
• Abstract要約: 我々は、因果ブートストレッピングと呼ばれる因果訓練前脱バイアス技術の研究と拡張を行った。 このような因果前訓練技術が,既存のベースプラクティスを大幅に上回ることを示す。
• 参考スコア（独自算出の注目度）: 14.4304416146106
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning models achieve state-of-the-art performance on many supervised learning tasks. However, prior evidence suggests that these models may learn to rely on shortcut biases or spurious correlations (intuitively, correlations that do not hold in the test as they hold in train) for good predictive performance. Such models cannot be trusted in deployment environments to provide accurate predictions. While viewing the problem from a causal lens is known to be useful, the seamless integration of causation techniques into machine learning pipelines remains cumbersome and expensive. In this work, we study and extend a causal pre-training debiasing technique called causal bootstrapping (CB) under five practical confounded-data generation-acquisition scenarios (with known and unknown confounding). Under these settings, we systematically investigate the effect of confounding bias on deep learning model performance, demonstrating their propensity to rely on shortcut biases when these biases are not properly accounted for. We demonstrate that such a causal pre-training technique can significantly outperform existing base practices to mitigate confounding bias on real-world domain generalization benchmarking tasks. This systematic investigation underlines the importance of accounting for the underlying data-generating mechanisms and fortifying data-preprocessing pipelines with a causal framework to develop methods robust to confounding biases.
• Abstract（参考訳）: 機械学習モデルは、多くの教師付き学習タスクで最先端のパフォーマンスを達成する。 しかし、以前の証拠は、これらのモデルが優れた予測性能のために近距離バイアスや(直観的には、試験中に保持されない相関)散発的な相関に依存することを学んでいることを示唆している。 このようなモデルは、正確な予測を提供するため、デプロイメント環境では信頼できない。 因果レンズから問題を見ることは有用であることが知られているが、機械学習パイプラインへの因果テクニックのシームレスな統合は複雑で高価である。 本研究では, 因果ブートストラップ (CB) と呼ばれる因果学習前脱バイアス法を, 5つの既成データ生成獲得シナリオに基づいて検討し, 拡張する。 これらの条件下では, バイアスが深層学習モデルの性能に与える影響を系統的に検討し, バイアスが適切に考慮されていない場合に, ショートカットバイアスに依存する傾向を示す。 このような因果的事前学習手法が,実世界のドメイン一般化ベンチマークタスクにおける偏りを緩和するために,既存のベースプラクティスを著しく上回ることを実証する。 この体系的な調査は、基盤となるデータ生成メカニズムの会計の重要性と、バイアスの形成にロバストな方法を開発するための因果的フレームワークによるデータ前処理パイプラインの強化を強調するものだ。

関連論文リスト

• Model Debiasing by Learnable Data Augmentation [19.625915578646758]
  本稿では,トレーニングを正規化可能なデータ拡張戦略を備えた,新しい2段階学習パイプラインを提案する。 合成および現実的なバイアス付きデータセットの実験は、最先端の分類精度を示し、競合する手法より優れている。
  論文  参考訳（メタデータ） (2024-08-09T09:19:59Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Debiasing Machine Unlearning with Counterfactual Examples [31.931056076782202]
  我々は、未学習プロセスの背後にある因果要因を分析し、データレベルとアルゴリズムレベルでバイアスを軽減する。 バイアスのあるデータセットによって、忘れるべき知識が消去される、介入に基づくアプローチを導入する。 本手法は,評価指標に基づく既存の機械学習ベースラインよりも優れる。
  論文  参考訳（メタデータ） (2024-04-24T09:33:10Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Root Causing Prediction Anomalies Using Explainable AI [3.970146574042422]
  本稿では,機械学習モデルにおける根源的性能劣化に対する説明可能なAI(XAI)の新たな応用法を提案する。 単一機能の破損は、カスケード機能、ラベル、コンセプトドリフトを引き起こす可能性がある。 我々は、パーソナライズされた広告に使用されるモデルの信頼性を向上させるために、この手法をうまく応用した。
  論文  参考訳（メタデータ） (2024-03-04T19:38:50Z)
• SLEM: Machine Learning for Path Modeling and Causal Inference with Super Learner Equation Modeling [3.988614978933934]
  因果推論は科学の重要な目標であり、研究者は観測データを使って意味のある結論に達することができる。 経路モデル、構造方程式モデル(SEM)および指向非巡回グラフ(DAG)は、現象の根底にある因果構造に関する仮定を明確に特定する手段を提供する。 本稿では,機械学習のスーパーラーナーアンサンブルを統合したパスモデリング手法であるSuper Learner Equation Modelingを提案する。
  論文  参考訳（メタデータ） (2023-08-08T16:04:42Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Learning from others' mistakes: Avoiding dataset biases without modeling them [111.17078939377313]
  最先端自然言語処理(NLP)モデルは、意図したタスクをターゲットとする機能ではなく、データセットのバイアスや表面形状の相関をモデル化することを学ぶことが多い。 これまでの研究は、バイアスに関する知識が利用できる場合に、これらの問題を回避するための効果的な方法を示してきた。 本稿では,これらの問題点を無視する学習モデルについて述べる。
  論文  参考訳（メタデータ） (2020-12-02T16:10:54Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。