論文の概要: Training Debiased Subnetworks with Contrastive Weight Pruning

• arxiv url: http://arxiv.org/abs/2210.05247v3
• Date: Mon, 26 Jun 2023 10:40:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-28 00:37:40.197704
• Title: Training Debiased Subnetworks with Contrastive Weight Pruning
• Title（参考訳）: 対照的な重みpruningを用いたdebiased subnetworksの訓練
• Authors: Geon Yeong Park, Sangmin Lee, Sang Wan Lee, Jong Chul Ye
• Abstract要約: 我々は、未バイアスのスパイラスワークの探索において、既存のアルゴリズムの潜在的な制限を警告する理論的な洞察を示す。 そこで我々は,構造学習におけるバイアス強調サンプルの重要性を解明した。 これらの観測により,高価なグループアノテーションを使わずに非バイアス処理を探索するDCWPアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 45.27261440157806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are often biased to spuriously correlated features that provide misleading statistical evidence that does not generalize. This raises an interesting question: ``Does an optimal unbiased functional subnetwork exist in a severely biased network? If so, how to extract such subnetwork?" While empirical evidence has been accumulated about the existence of such unbiased subnetworks, these observations are mainly based on the guidance of ground-truth unbiased samples. Thus, it is unexplored how to discover the optimal subnetworks with biased training datasets in practice. To address this, here we first present our theoretical insight that alerts potential limitations of existing algorithms in exploring unbiased subnetworks in the presence of strong spurious correlations. We then further elucidate the importance of bias-conflicting samples on structure learning. Motivated by these observations, we propose a Debiased Contrastive Weight Pruning (DCWP) algorithm, which probes unbiased subnetworks without expensive group annotations. Experimental results demonstrate that our approach significantly outperforms state-of-the-art debiasing methods despite its considerable reduction in the number of parameters.
• Abstract（参考訳）: ニューラルネットワークはしばしば、一般化しない誤解を招く統計的証拠を提供する刺激的に相関した特徴に偏っている。 最適な偏りのない機能的サブネットワークは、厳しい偏りのあるネットワークの中に存在するのだろうか? もしそうなら、どのようにサブネットワークを抽出するのか? このような偏りのないサブネットワークの存在に関する実証的な証拠は蓄積されているが、これらの観測は主に地底偏りのないサンプルの指導に基づいている。 したがって、実際にバイアスのあるトレーニングデータセットを持つ最適なサブネットワークを見つける方法が未検討である。 これに対処するために、我々はまず、強いスプリアス相関の存在下で、偏りのないサブネットワークを探索する既存のアルゴリズムの潜在的な制限を警告する理論的な洞察を示す。 さらに,構造学習におけるバイアス強調サンプルの重要性を解明する。 これらの観測により、高価なグループアノテーションなしで非バイアスのサブネットを探索するDCWP(Debiased Contrastive Weight Pruning)アルゴリズムを提案する。 実験の結果,パラメータ数が大幅に減少しているにもかかわらず,本手法は最先端のデバイアス法よりも優れていた。

関連論文リスト

• DeNetDM: Debiasing by Network Depth Modulation [6.550893772143]
  本稿では,ネットワーク深度変調を用いた新しいデバイアス法DeNetDMを提案する。 本手法では,バイアスアノテーションや明示的なデータ拡張は必要とせず,いずれかあるいは両方を必要とするアプローチと同等に実行する。 DeNetDMは、合成データセットと実世界のデータセットの両方において、既存のデバイアス手法を5%上回っていることを実証する。
  論文  参考訳（メタデータ） (2024-03-28T22:17:19Z)
• Revisiting the Dataset Bias Problem from a Statistical Perspective [72.94990819287551]
  統計的観点から「データセットバイアス」問題を考察する。 問題の主な原因は、クラス属性 u と非クラス属性 b の強い相関関係である。 本稿では,各試料nの目的をフラクタル1p(u_n|b_n)で重み付けするか,その試料をフラクタル1p(u_n|b_n)に比例してサンプリングすることにより,データセットバイアスを軽減することを提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:58:06Z)
• Mining bias-target Alignment from Voronoi Cells [2.66418345185993]
  本稿では,ディープニューラルネットワークにおけるバイアスの影響を軽減するためのバイアス非依存アプローチを提案する。 従来のデバイアスのアプローチとは異なり、ターゲットクラスにおけるバイアスアライメント/ミスアライメント'を定量化するためのメトリックに依存しています。 その結果,提案手法は最先端の教師付き手法に匹敵する性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-05-05T17:09:01Z)
• The Double-Edged Sword of Implicit Bias: Generalization vs. Robustness in ReLU Networks [64.12052498909105]
  本稿では,ReLUネットワークにおける勾配流の暗黙的バイアスが一般化と対角的ロバスト性に与える影響について検討する。 2層ReLUネットワークでは、勾配流は一般化された解に偏りがあるが、敵の例には非常に弱い。
  論文  参考訳（メタデータ） (2023-03-02T18:14:35Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)
• Unsupervised Learning of Unbiased Visual Representations [10.871587311621974]
  ディープニューラルネットワークは、データセットにバイアスが存在するときに堅牢な表現を学習できないことで知られている。 我々は3つのステップからなる完全に教師なしの脱バイアスフレームワークを提案する。 我々は、非バイアスモデルを得るために最先端の教師付き脱バイアス技術を採用している。
  論文  参考訳（メタデータ） (2022-04-26T10:51:50Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)
• Fairness Through Robustness: Investigating Robustness Disparity in Deep Learning [61.93730166203915]
  我々は、モデルが敵の攻撃に弱い場合、従来の公平性の概念では不十分であると主張する。 頑健性バイアスを測定することはDNNにとって難しい課題であり,この2つの方法を提案する。
  論文  参考訳（メタデータ） (2020-06-17T22:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。