論文の概要: Latent Adversarial Debiasing: Mitigating Collider Bias in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2011.11486v1
• Date: Thu, 19 Nov 2020 10:53:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 21:36:46.468596
• Title: Latent Adversarial Debiasing: Mitigating Collider Bias in Deep Neural Networks
• Title（参考訳）: 潜在逆バイアス--ディープニューラルネットワークにおける衝突型バイアスの軽減
• Authors: Luke Darlow, Stanis{\l}aw Jastrz\k{e}bski, Amos Storkey
• Abstract要約: 衝突型バイアスは、ニューラルネットワークが対処できないようなサンプル選択バイアスの有害な形態である。 本研究は,潜在性逆境障害を用いたバイアス非結合トレーニングデータを生成することにより,この対策を緩和できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Collider bias is a harmful form of sample selection bias that neural networks are ill-equipped to handle. This bias manifests itself when the underlying causal signal is strongly correlated with other confounding signals due to the training data collection procedure. In the situation where the confounding signal is easy-to-learn, deep neural networks will latch onto this and the resulting model will generalise poorly to in-the-wild test scenarios. We argue herein that the cause of failure is a combination of the deep structure of neural networks and the greedy gradient-driven learning process used - one that prefers easy-to-compute signals when available. We show it is possible to mitigate against this by generating bias-decoupled training data using latent adversarial debiasing (LAD), even when the confounding signal is present in 100% of the training data. By training neural networks on these adversarial examples,we can improve their generalisation in collider bias settings. Experiments show state-of-the-art performance of LAD in label-free debiasing with gains of 76.12% on background coloured MNIST, 35.47% on fore-ground coloured MNIST, and 8.27% on corrupted CIFAR-10.
• Abstract（参考訳）: 衝突型バイアスは、ニューラルネットワークが対処できないようなサンプル選択バイアスの有害な形態である。 このバイアスは、基礎となる因果信号がトレーニングデータ収集手順によって他の結合信号と強く相関するときに現れる。 コンファウンディング信号が分かり易い状況では、ディープニューラルネットワークがこれにラッチし、結果として得られるモデルは、悪質なテストシナリオに一般化する。 ここで、故障の原因は、ニューラルネットワークの深い構造と、使用可能な時に簡単に計算可能なシグナルを優先する、強欲な勾配駆動学習プロセスの組み合わせにあると論じています。 学習データの100%にコンファウンディング信号が存在する場合でも,潜伏性逆バイアスデバイアス(lad)を用いてバイアス分離トレーニングデータを生成することにより,この問題を軽減できることを示す。 これらの逆例としてニューラルネットワークをトレーニングすることで、衝突型バイアス設定における一般化を改善することができる。 実験によれば、ladは、背景色mnistで76.12%、前景色mnistで35.47%、破損したcifar-10で8.27%の上昇を示した。

関連論文リスト

• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Signal Is Harder To Learn Than Bias: Debiasing with Focal Loss [10.031357641396616]
  ニューラルネットワークは、不必要な関連性(バイアスとしても知られる)を学ぶことで悪名高い。 本稿では、偏りと偏りのない分類器を同時に訓練する変分自動符号化方式であるSignal is Harderを提案する。 本稿では,実践者が刺激的な相関関係の源泉を知るのに役立つバイアスを可視化するために,潜伏空間における摂動スキームを提案する。
  論文  参考訳（メタデータ） (2023-05-31T09:09:59Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)
• Compensating trajectory bias for unsupervised patient stratification using adversarial recurrent neural networks [0.6323908398583082]
  患者埋め込みやクラスタは,軌道バイアスの影響を受けやすい可能性が示唆された。 結果は、臨床的に関係のある詳細ではなく、各患者の軌跡に含まれるデータ量に支配される。 本稿では,RNN-AE上での逆トレーニング手法を用いてこの問題を克服する手法を提案する。
  論文  参考訳（メタデータ） (2021-12-14T09:01:28Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。