論文の概要: DeNetDM: Debiasing by Network Depth Modulation

• arxiv url: http://arxiv.org/abs/2403.19863v3
• Date: Wed, 02 Oct 2024 19:55:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-04 23:30:46.438326
• Title: DeNetDM: Debiasing by Network Depth Modulation
• Title（参考訳）: DeNetDM: ネットワーク深さ変調によるデバイアス
• Authors: Silpa Vadakkeeveetil Sreelatha, Adarsh Kappiyath, Abhra Chaudhuri, Anjan Dutta,
• Abstract要約: DeNetDMは、浅層ニューラルネットワークが学習コア属性を優先するのに対して、より深いものは、異なる情報を取得することを課題とする際のバイアスを強調するという観察に基づく、新しいデバイアス手法である。 提案手法は,データ内のバイアス強調点の多様性を効果的に活用し,従来の手法を超越し,バイアス強調点の多様性を高めるための明示的な拡張に基づく手法の必要性を回避している。
• 参考スコア（独自算出の注目度）: 6.550893772143
• License:
• Abstract: When neural networks are trained on biased datasets, they tend to inadvertently learn spurious correlations, leading to challenges in achieving strong generalization and robustness. Current approaches to address such biases typically involve utilizing bias annotations, reweighting based on pseudo-bias labels, or enhancing diversity within bias-conflicting data points through augmentation techniques. We introduce DeNetDM, a novel debiasing method based on the observation that shallow neural networks prioritize learning core attributes, while deeper ones emphasize biases when tasked with acquiring distinct information. Using a training paradigm derived from Product of Experts, we create both biased and debiased branches with deep and shallow architectures and then distill knowledge to produce the target debiased model. Extensive experiments and analyses demonstrate that our approach outperforms current debiasing techniques, achieving a notable improvement of around 5% in three datasets, encompassing both synthetic and real-world data. Remarkably, DeNetDM accomplishes this without requiring annotations pertaining to bias labels or bias types, while still delivering performance on par with supervised counterparts. Furthermore, our approach effectively harnesses the diversity of bias-conflicting points within the data, surpassing previous methods and obviating the need for explicit augmentation-based methods to enhance the diversity of such bias-conflicting points. The source code will be available upon acceptance.
• Abstract（参考訳）: ニューラルネットワークがバイアス付きデータセットに基づいてトレーニングされる場合、彼らは必然的に急激な相関を学習する傾向にあり、強力な一般化と堅牢性を達成する上での課題に繋がる。 このようなバイアスに対処する現在のアプローチは、一般的にバイアスアノテーションの利用、疑似バイアスラベルに基づくリウェイト、または増補手法によるバイアス強調データポイント内の多様性の向上を含む。 DeNetDMは、浅層ニューラルネットワークが学習コア属性を優先するのに対して、より深いものは、異なる情報を取得することを課題とする際のバイアスを強調するという観察に基づく、新しいデバイアス手法である。 エキスパートのプロダクトから派生したトレーニングパラダイムを使用して、深いアーキテクチャと浅いアーキテクチャを持つ偏見のあるブランチと偏見のあるブランチの両方を作成し、知識を蒸留して、ターゲットの偏見のあるモデルを生成する。 大規模な実験と分析により、我々のアプローチは現在のデバイアス技術より優れており、3つのデータセットで約5%の顕著な改善を実現し、合成データと実世界のデータの両方を包含していることが示された。 注目すべきは、DeNetDMはバイアスラベルやバイアスタイプに関連するアノテーションを必要とせずにこれを達成すると同時に、監視対象と同等のパフォーマンスを提供することだ。 さらに,本手法は,データ内のバイアス強調点の多様性を効果的に活用し,従来の手法を超越し,バイアス強調点の多様性を高めるための明示的な拡張法の必要性を回避している。 ソースコードは受理時に利用可能になる。

関連論文リスト

• Model Debiasing by Learnable Data Augmentation [19.625915578646758]
  本稿では,トレーニングを正規化可能なデータ拡張戦略を備えた,新しい2段階学習パイプラインを提案する。 合成および現実的なバイアス付きデータセットの実験は、最先端の分類精度を示し、競合する手法より優れている。
  論文  参考訳（メタデータ） (2024-08-09T09:19:59Z)
• Autoencoder based approach for the mitigation of spurious correlations [2.7624021966289605]
  純粋な相関は、真の基盤となる関係を反映しないデータの誤関連を指す。 これらの相関により、ディープニューラルネットワーク(DNN)は、さまざまなデータセットや実世界のシナリオで堅牢でないパターンを学ぶことができる。 本稿では,GWHD(Global Wheat Head Detection)2021データセットに存在するスプリアス相関の性質を自動エンコーダで解析する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-27T05:28:44Z)
• Marginal Debiased Network for Fair Visual Recognition [59.05212866862219]
  本稿では,デバイアス表現を学習するための新しい限界脱バイアスネットワーク(MDN)を提案する。 我々のMDNは、表現不足のサンプルに対して顕著な性能を達成できる。
  論文  参考訳（メタデータ） (2024-01-04T08:57:09Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)
• Training Debiased Subnetworks with Contrastive Weight Pruning [45.27261440157806]
  我々は、未バイアスのスパイラスワークの探索において、既存のアルゴリズムの潜在的な制限を警告する理論的な洞察を示す。 そこで我々は,構造学習におけるバイアス強調サンプルの重要性を解明した。 これらの観測により,高価なグループアノテーションを使わずに非バイアス処理を探索するDCWPアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-11T08:25:47Z)
• How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
  転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。 本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。 スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
  論文  参考訳（メタデータ） (2021-11-26T11:58:51Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。