論文の概要: DeNetDM: Debiasing by Network Depth Modulation
- arxiv url: http://arxiv.org/abs/2403.19863v2
- Date: Thu, 26 Sep 2024 21:32:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-01 06:55:33.671352
- Title: DeNetDM: Debiasing by Network Depth Modulation
- Title(参考訳): DeNetDM: ネットワーク深さ変調によるデバイアス
- Authors: Silpa Vadakkeeveetil Sreelatha, Adarsh Kappiyath, Abhra Chaudhuri, Anjan Dutta,
- Abstract要約: DeNetDMは、浅層ニューラルネットワークが学習コア属性を優先するのに対して、より深いものは、異なる情報を取得することを課題とする際のバイアスを強調するという観察に基づく、新しいデバイアス手法である。
提案手法は,データ内のバイアス強調点の多様性を効果的に活用し,従来の手法を超越し,バイアス強調点の多様性を高めるための明示的な拡張に基づく手法の必要性を回避している。
- 参考スコア(独自算出の注目度): 6.550893772143
- License:
- Abstract: When neural networks are trained on biased datasets, they tend to inadvertently learn spurious correlations, leading to challenges in achieving strong generalization and robustness. Current approaches to address such biases typically involve utilizing bias annotations, reweighting based on pseudo-bias labels, or enhancing diversity within bias-conflicting data points through augmentation techniques. We introduce DeNetDM, a novel debiasing method based on the observation that shallow neural networks prioritize learning core attributes, while deeper ones emphasize biases when tasked with acquiring distinct information. Using a training paradigm derived from Product of Experts, we create both biased and debiased branches with deep and shallow architectures and then distill knowledge to produce the target debiased model. Extensive experiments and analyses demonstrate that our approach outperforms current debiasing techniques, achieving a notable improvement of around 5% in three datasets, encompassing both synthetic and real-world data. Remarkably, DeNetDM accomplishes this without requiring annotations pertaining to bias labels or bias types, while still delivering performance on par with supervised counterparts. Furthermore, our approach effectively harnesses the diversity of bias-conflicting points within the data, surpassing previous methods and obviating the need for explicit augmentation-based methods to enhance the diversity of such bias-conflicting points. The source code will be available upon acceptance.
- Abstract(参考訳): ニューラルネットワークがバイアス付きデータセットに基づいてトレーニングされる場合、彼らは必然的に急激な相関を学習する傾向にあり、強力な一般化と堅牢性を達成する上での課題に繋がる。
このようなバイアスに対処する現在のアプローチは、一般的にバイアスアノテーションの利用、疑似バイアスラベルに基づくリウェイト、または増補手法によるバイアス強調データポイント内の多様性の向上を含む。
DeNetDMは、浅層ニューラルネットワークが学習コア属性を優先するのに対して、より深いものは、異なる情報を取得することを課題とする際のバイアスを強調するという観察に基づく、新しいデバイアス手法である。
エキスパートのプロダクトから派生したトレーニングパラダイムを使用して、深いアーキテクチャと浅いアーキテクチャを持つ偏見のあるブランチと偏見のあるブランチの両方を作成し、知識を蒸留して、ターゲットの偏見のあるモデルを生成する。
大規模な実験と分析により、我々のアプローチは現在のデバイアス技術より優れており、3つのデータセットで約5%の顕著な改善を実現し、合成データと実世界のデータの両方を包含していることが示された。
注目すべきは、DeNetDMはバイアスラベルやバイアスタイプに関連するアノテーションを必要とせずにこれを達成すると同時に、監視対象と同等のパフォーマンスを提供することだ。
さらに,本手法は,データ内のバイアス強調点の多様性を効果的に活用し,従来の手法を超越し,バイアス強調点の多様性を高めるための明示的な拡張法の必要性を回避している。
ソースコードは受理時に利用可能になる。
関連論文リスト
- Improving Bias Mitigation through Bias Experts in Natural Language
Understanding [10.363406065066538]
補助モデルと主モデルの間に二項分類器を導入するデバイアス化フレームワークを提案する。
提案手法は補助モデルのバイアス識別能力を向上させる。
論文 参考訳(メタデータ) (2023-12-06T16:15:00Z) - Causality and Independence Enhancement for Biased Node Classification [56.38828085943763]
各種グラフニューラルネットワーク(GNN)に適用可能な新しい因果性・独立性向上(CIE)フレームワークを提案する。
提案手法は,ノード表現レベルでの因果的特徴と突発的特徴を推定し,突発的相関の影響を緩和する。
我々のアプローチCIEは、GNNの性能を大幅に向上するだけでなく、最先端の debiased ノード分類法よりも優れています。
論文 参考訳(メタデータ) (2023-10-14T13:56:24Z) - Mining bias-target Alignment from Voronoi Cells [2.66418345185993]
本稿では,ディープニューラルネットワークにおけるバイアスの影響を軽減するためのバイアス非依存アプローチを提案する。
従来のデバイアスのアプローチとは異なり、ターゲットクラスにおけるバイアスアライメント/ミスアライメント'を定量化するためのメトリックに依存しています。
その結果,提案手法は最先端の教師付き手法に匹敵する性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-05-05T17:09:01Z) - Self-supervised debiasing using low rank regularization [59.84695042540525]
純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。
ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。
注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
論文 参考訳(メタデータ) (2022-10-11T08:26:19Z) - Unsupervised Learning of Unbiased Visual Representations [10.871587311621974]
ディープニューラルネットワークは、データセットにバイアスが存在するときに堅牢な表現を学習できないことで知られている。
我々は3つのステップからなる完全に教師なしの脱バイアスフレームワークを提案する。
我々は、非バイアスモデルを得るために最先端の教師付き脱バイアス技術を採用している。
論文 参考訳(メタデータ) (2022-04-26T10:51:50Z) - General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。
GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文 参考訳(メタデータ) (2021-12-20T14:47:32Z) - Learning Bias-Invariant Representation by Cross-Sample Mutual
Information Minimization [77.8735802150511]
対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。
相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。
我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
論文 参考訳(メタデータ) (2021-08-11T21:17:02Z) - Improving Robustness by Augmenting Training Sentences with
Predicate-Argument Structures [62.562760228942054]
データセットバイアスに対するロバスト性を改善する既存のアプローチは、主にトレーニング目標の変更に焦点を当てている。
本稿では,学習データ中の入力文に対応する述語句構造を付加することを提案する。
特定のバイアスを対象とせずに、文の増大は、複数のバイアスに対してトランスフォーマーモデルの堅牢性を向上することを示す。
論文 参考訳(メタデータ) (2020-10-23T16:22:05Z) - Learning from Failure: Training Debiased Classifier from Biased
Classifier [76.52804102765931]
ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。
本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。
本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
論文 参考訳(メタデータ) (2020-07-06T07:20:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。