論文の概要: FairDropout: Using Example-Tied Dropout to Enhance Generalization of Minority Groups

• arxiv url: http://arxiv.org/abs/2502.06695v1
• Date: Mon, 10 Feb 2025 17:18:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:30:27.250464
• Title: FairDropout: Using Example-Tied Dropout to Enhance Generalization of Minority Groups
• Title（参考訳）: FairDropout: 少数群の一般化を促進する実例付きドロップアウト
• Authors: Geraldin Nanfack, Eugene Belilovsky,
• Abstract要約: 経験的リスク最小化で訓練されたモデルは、少数派からの事例を記憶しながら、多数派からの例をうまく一般化する傾向があることを示す。 本研究は、FairDropoutという手法として、この記憶を推論中に削除した特定のニューロンにリダイレクトすることを目的として、サンプルタイドドロップアウトを適用した。 視覚,言語,医療タスクを含むサブポピュレーション・ベンチマーク・スイートを用いて,FairDropoutを実証的に評価した。
• 参考スコア（独自算出の注目度）: 10.274236106456758
• License:
• Abstract: Deep learning models frequently exploit spurious features in training data to achieve low training error, often resulting in poor generalization when faced with shifted testing distributions. To address this issue, various methods from imbalanced learning, representation learning, and classifier recalibration have been proposed to enhance the robustness of deep neural networks against spurious correlations. In this paper, we observe that models trained with empirical risk minimization tend to generalize well for examples from the majority groups while memorizing instances from minority groups. Building on recent findings that show memorization can be localized to a limited number of neurons, we apply example-tied dropout as a method we term FairDropout, aimed at redirecting this memorization to specific neurons that we subsequently drop out during inference. We empirically evaluate FairDropout using the subpopulation benchmark suite encompassing vision, language, and healthcare tasks, demonstrating that it significantly reduces reliance on spurious correlations, and outperforms state-of-the-art methods.
• Abstract（参考訳）: ディープラーニングモデルは、トレーニングデータの急激な特徴を利用して、低いトレーニングエラーを達成する。 この問題に対処するために、深層ニューラルネットワークのスプリアス相関に対する堅牢性を高めるために、不均衡学習、表現学習、分類器の校正といった様々な手法が提案されている。 本稿では,経験的リスク最小化で訓練されたモデルが,少数派からの事例を記憶しながら,多数派からの例をうまく一般化する傾向にあることを示す。 記憶が限られた数のニューロンに局所化できるという最近の知見に基づいて、FairDropoutと呼ぶ方法として、この記憶を推論中にドロップアウトした特定のニューロンにリダイレクトすることを目的とした、サンプルタイドドロップアウトを適用した。 視覚,言語,医療タスクを含むサブポピュレーション・ベンチマーク・スイートを用いて,FairDropoutを実証的に評価した。

関連論文リスト

• The Silent Majority: Demystifying Memorization Effect in the Presence of Spurious Correlations [19.824897288786303]
  本稿では,ネットワーク内の小さなニューロンの集合において,突発的特徴のユビキタスな存在を体系的に示す。 少数集団情報を記憶するニューロンやチャネルの小さなサブセットの性質を見いだす。 この仮説を裏付けるために,これらの不要な急激な記憶パターンをトレーニング中に新たな枠組みによって排除することは,マイノリティグループにおけるモデル性能に顕著に影響を及ぼすことを示した。
  論文  参考訳（メタデータ） (2025-01-01T21:45:00Z)
• Alpha and Prejudice: Improving $α$-sized Worst-case Fairness via Intrinsic Reweighting [34.954141077528334]
  既成人口集団との最悪のフェアネスは、最悪の集団のモデルユーティリティを最大化することで、同等性を達成する。 近年の進歩は、最小分割比の低い境界を導入することで、この学習問題を再構築している。
  論文  参考訳（メタデータ） (2024-11-05T13:04:05Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Adversarial Reweighting Guided by Wasserstein Distance for Bias Mitigation [24.160692009892088]
  データ中のマイノリティの下位表現は、学習中のサブポピュレーションの異なる扱いを困難にしている。 本稿では,このような表現バイアスに対処する新たな逆方向再重み付け手法を提案する。
  論文  参考訳（メタデータ） (2023-11-21T15:46:11Z)
• Social NCE: Contrastive Learning of Socially-aware Motion Representations [87.82126838588279]
  実験結果から, 提案手法は最近の軌道予測, 行動クローニング, 強化学習アルゴリズムの衝突速度を劇的に低減することがわかった。 本手法は,ニューラルネットワークの設計に関する仮定をほとんど示さないため,神経運動モデルのロバスト性を促進する汎用的手法として使用できる。
  論文  参考訳（メタデータ） (2020-12-21T22:25:06Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• An Investigation of Why Overparameterization Exacerbates Spurious Correlations [98.3066727301239]
  この動作を駆動するトレーニングデータの2つの重要な特性を特定します。 モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
  論文  参考訳（メタデータ） (2020-05-09T01:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。