論文の概要: SelecMix: Debiased Learning by Contradicting-pair Sampling

• arxiv url: http://arxiv.org/abs/2211.02291v1
• Date: Fri, 4 Nov 2022 07:15:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-07 15:40:39.696126
• Title: SelecMix: Debiased Learning by Contradicting-pair Sampling
• Title（参考訳）: SelecMix: 対訳 ペアサンプリングによるバイアス付き学習
• Authors: Inwoo Hwang, Sangjun Lee, Yunhyeok Kwak, Seong Joon Oh, Damien Teney, Jin-Hwa Kim, Byoung-Tak Zhang
• Abstract要約: ERMでトレーニングされたニューラルネットワークは、トレーニングデータがバイアスを受けたときに意図しない決定ルールを学ぶ。 トレーニング例の凸結合を生成するために,Mixupをベースとした代替案を提案する。 SelecMixと呼ばれるこの手法は、(i)同一のラベルを示すが、(ii)異なるラベルを示すか、または(ii)類似のバイアスを持つ特徴を示すものとして定義される、矛盾する例のペアにミックスアップを適用する。
• 参考スコア（独自算出の注目度）: 39.613595678105845
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks trained with ERM (empirical risk minimization) sometimes learn unintended decision rules, in particular when their training data is biased, i.e., when training labels are strongly correlated with undesirable features. To prevent a network from learning such features, recent methods augment training data such that examples displaying spurious correlations (i.e., bias-aligned examples) become a minority, whereas the other, bias-conflicting examples become prevalent. However, these approaches are sometimes difficult to train and scale to real-world data because they rely on generative models or disentangled representations. We propose an alternative based on mixup, a popular augmentation that creates convex combinations of training examples. Our method, coined SelecMix, applies mixup to contradicting pairs of examples, defined as showing either (i) the same label but dissimilar biased features, or (ii) different labels but similar biased features. Identifying such pairs requires comparing examples with respect to unknown biased features. For this, we utilize an auxiliary contrastive model with the popular heuristic that biased features are learned preferentially during training. Experiments on standard benchmarks demonstrate the effectiveness of the method, in particular when label noise complicates the identification of bias-conflicting examples.
• Abstract（参考訳）: ERM(経験的リスク最小化)でトレーニングされたニューラルネットワークは、意図しない決定規則を学習することがある。 ネットワークがそのような特徴を学習することを防止するため、最近の手法では、スプリアス相関を示す例(例えばバイアス整合例)がマイノリティとなり、他方がバイアス競合例が一般的になるようなトレーニングデータを強化している。 しかしながら、これらのアプローチは生成モデルや異種表現に依存するため、実世界データへのトレーニングやスケールが難しい場合もあります。 本研究では,トレーニング例の凸コンビネーションを生成する一般的な拡張であるmixupに基づく代替案を提案する。 我々の手法はSelecMixと呼ばれ、矛盾する例のペアにミックスアップを適用する。 (i)同一のラベルであるが異質なバイアスのある特徴、又は (ii)異なるラベルであるが、類似のバイアスがある。 このようなペアを特定するには、未知のバイアスのある特徴に対する例を比較する必要がある。 このために,偏りのある特徴を訓練中に優先的に学習するという,一般的なヒューリスティックと相補的なコントラストモデルを用いる。 標準ベンチマークにおける実験は、特にラベルノイズがバイアス競合例の同定を複雑にしている場合に、この手法の有効性を示す。

関連論文リスト

• CosFairNet:A Parameter-Space based Approach for Bias Free Learning [1.9116784879310025]
  バイアス付きデータに基づいてトレーニングされたディープニューラルネットワークは、意図しない推論ルールを不注意に学習することが多い。 本稿では,モデルのパラメータ空間内で直接バイアスに対処する新しい手法を提案する。 各種合成および実世界のデータセットにおいて,分類精度の向上と偏りの低減効果を示す。
  論文  参考訳（メタデータ） (2024-10-19T13:06:40Z)
• Model Debiasing by Learnable Data Augmentation [19.625915578646758]
  本稿では,トレーニングを正規化可能なデータ拡張戦略を備えた,新しい2段階学習パイプラインを提案する。 合成および現実的なバイアス付きデータセットの実験は、最先端の分類精度を示し、競合する手法より優れている。
  論文  参考訳（メタデータ） (2024-08-09T09:19:59Z)
• Debiased Sample Selection for Combating Noisy Labels [24.296451733127956]
  サンプル選択におけるバイアス学習のためのnoIse-Tolerant Expert Model (ITEM)を提案する。 具体的には、トレーニングバイアスを軽減するために、複数の専門家と統合した堅牢なネットワークアーキテクチャを設計します。 2つのクラス識別型ミニバッチの混合によるトレーニングにより、モデルが不均衡なトレーニングセットの効果を緩和する。
  論文  参考訳（メタデータ） (2024-01-24T10:37:28Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• An Exploration of How Training Set Composition Bias in Machine Learning Affects Identifying Rare Objects [0.0]
  まれなクラスの例を誇張して無視されないようにするのが一般的である。 また、ソースタイプのバランスがほぼ等しくなるような制限されたデータでトレーニングする練習も頻繁に行われます。 ここでは、これらのプラクティスが、過剰な割り当てソースからレアクラスのモデルに偏りがあることを示します。
  論文  参考訳（メタデータ） (2022-07-07T10:26:55Z)
• Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
  長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。 尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。 そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-08T07:48:36Z)
• Dash: Semi-Supervised Learning with Dynamic Thresholding [72.74339790209531]
  我々は、ラベルのない例を使ってモデルをトレーニングする半教師付き学習(SSL)アプローチを提案する。 提案手法であるDashは、ラベルなしデータ選択の観点から適応性を享受する。
  論文  参考訳（メタデータ） (2021-09-01T23:52:29Z)
• Learning Debiased Representation via Disentangled Feature Augmentation [19.348340314001756]
  本稿では, 様々なバイアスを伴うサンプルを用いたトレーニングが, 脱バイアスに不可欠であることを示す実験的検討を行った。 本稿では, 多様なバイアス分散サンプルを合成するために, 特徴レベルのデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2021-07-03T08:03:25Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Robust and On-the-fly Dataset Denoising for Image Classification [72.10311040730815]
  On-the-fly Data Denoising (ODD)は、間違ったラベルの例に対して堅牢だが、通常のトレーニングと比べて計算オーバーヘッドはほぼゼロである。 ODDはWebVisionやClothing1Mといった現実世界のデータセットを含む、幅広いデータセットで最先端の結果を達成することができる。
  論文  参考訳（メタデータ） (2020-03-24T03:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。