論文の概要: Learning from Failure: Training Debiased Classifier from Biased Classifier

• arxiv url: http://arxiv.org/abs/2007.02561v2
• Date: Mon, 23 Nov 2020 07:41:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 01:25:03.840717
• Title: Learning from Failure: Training Debiased Classifier from Biased Classifier
• Title（参考訳）: 失敗から学ぶ:バイアス付き分類器の訓練
• Authors: Junhyun Nam, Hyuntak Cha, Sungsoo Ahn, Jaeho Lee, Jinwoo Shin
• Abstract要約: ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
• 参考スコア（独自算出の注目度）: 76.52804102765931
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks often learn to make predictions that overly rely on spurious correlation existing in the dataset, which causes the model to be biased. While previous work tackles this issue by using explicit labeling on the spuriously correlated attributes or presuming a particular bias type, we instead utilize a cheaper, yet generic form of human knowledge, which can be widely applicable to various types of bias. We first observe that neural networks learn to rely on the spurious correlation only when it is "easier" to learn than the desired knowledge, and such reliance is most prominent during the early phase of training. Based on the observations, we propose a failure-based debiasing scheme by training a pair of neural networks simultaneously. Our main idea is twofold; (a) we intentionally train the first network to be biased by repeatedly amplifying its "prejudice", and (b) we debias the training of the second network by focusing on samples that go against the prejudice of the biased network in (a). Extensive experiments demonstrate that our method significantly improves the training of the network against various types of biases in both synthetic and real-world datasets. Surprisingly, our framework even occasionally outperforms the debiasing methods requiring explicit supervision of the spuriously correlated attributes.
• Abstract（参考訳）: ニューラルネットワークは多くの場合、データセットに存在する散発的な相関に依存する予測を学習し、モデルにバイアスを与える。 従来の研究では、突発的に相関する属性の明示的なラベル付けや、特定のバイアスタイプを仮定することでこの問題に対処していましたが、代わりに、より安価で汎用的な人間の知識を使用します。 まず、ニューラルネットワークが所望の知識よりも簡単に学習できる場合にのみ、素早い相関に頼ることを学ぶのを観察し、トレーニングの初期段階において、そのような依存が最も顕著である。 そこで本研究では,一対のニューラルネットワークを同時に訓練することにより,障害に基づくデバイアス手法を提案する。 主なアイデアは2つあります (a)「偏見」を繰り返し増幅してバイアスを受ける最初のネットワークを意図的に訓練し、 b)バイアスネットワークの偏見に逆らうサンプルに着目して第2ネットワークの訓練を怠っている。 (a) 広範な実験により,合成データと実世界のデータセットの両方において,ネットワークのトレーニングを様々なバイアスに対して大幅に改善できることが証明された。 驚いたことに、我々のフレームワークは時折、突発的に相関する属性の明示的な監督を必要とするデバイアス法よりも優れています。

関連論文リスト

• Model Debiasing by Learnable Data Augmentation [19.625915578646758]
  本稿では,トレーニングを正規化可能なデータ拡張戦略を備えた,新しい2段階学習パイプラインを提案する。 合成および現実的なバイアス付きデータセットの実験は、最先端の分類精度を示し、競合する手法より優れている。
  論文  参考訳（メタデータ） (2024-08-09T09:19:59Z)
• Signal Is Harder To Learn Than Bias: Debiasing with Focal Loss [10.031357641396616]
  ニューラルネットワークは、不必要な関連性(バイアスとしても知られる)を学ぶことで悪名高い。 本稿では、偏りと偏りのない分類器を同時に訓練する変分自動符号化方式であるSignal is Harderを提案する。 本稿では,実践者が刺激的な相関関係の源泉を知るのに役立つバイアスを可視化するために,潜伏空間における摂動スキームを提案する。
  論文  参考訳（メタデータ） (2023-05-31T09:09:59Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)
• Unsupervised Learning of Unbiased Visual Representations [10.871587311621974]
  ディープニューラルネットワークは、データセットにバイアスが存在するときに堅牢な表現を学習できないことで知られている。 我々は3つのステップからなる完全に教師なしの脱バイアスフレームワークを提案する。 我々は、非バイアスモデルを得るために最先端の教師付き脱バイアス技術を採用している。
  論文  参考訳（メタデータ） (2022-04-26T10:51:50Z)
• Pseudo Bias-Balanced Learning for Debiased Chest X-ray Classification [57.53567756716656]
  本研究では, バイアスラベルを正確に把握せず, 脱バイアス胸部X線診断モデルの開発について検討した。 本稿では,まずサンプルごとのバイアスラベルをキャプチャし,予測する新しいアルゴリズム,擬似バイアスバランス学習を提案する。 提案手法は他の最先端手法よりも一貫した改善を実現した。
  論文  参考訳（メタデータ） (2022-03-18T11:02:18Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• Vulnerability Under Adversarial Machine Learning: Bias or Variance? [77.30759061082085]
  本研究では,機械学習が訓練された深層ニューラルネットワークのバイアスと分散に与える影響について検討する。 我々の分析は、ディープニューラルネットワークが対向的摂動下で性能が劣っている理由に光を当てている。 本稿では,計算処理の複雑さをよく知られた機械学習手法よりも低く抑えた,新しい逆機械学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-01T00:58:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。