論文の概要: OccamNets: Mitigating Dataset Bias by Favoring Simpler Hypotheses

• arxiv url: http://arxiv.org/abs/2204.02426v1
• Date: Tue, 5 Apr 2022 18:06:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-08 04:00:53.519206
• Title: OccamNets: Mitigating Dataset Bias by Favoring Simpler Hypotheses
• Title（参考訳）: OccamNets: 単純な仮説によるデータセットバイアスの緩和
• Authors: Robik Shrestha, Kushal Kafle, Christopher Kanan
• Abstract要約: 本稿では,ネットワークアーキテクチャを改良して帰納バイアスを課し,ネットワークをデータセットバイアスに頑健にする手法を提案する。 具体的には,OccamNetsを提案する。 OccamNetsは単純な仮説に偏っているが、必要であればより複雑な仮説を学ぶことができる。
• 参考スコア（独自算出の注目度）: 37.3104276044349
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dataset bias and spurious correlations can significantly impair generalization in deep neural networks. Many prior efforts have addressed this problem using either alternative loss functions or sampling strategies that focus on rare patterns. We propose a new direction: modifying the network architecture to impose inductive biases that make the network robust to dataset bias. Specifically, we propose OccamNets, which are biased to favor simpler solutions by design. OccamNets have two inductive biases. First, they are biased to use as little network depth as needed for an individual example. Second, they are biased toward using fewer image locations for prediction. While OccamNets are biased toward simpler hypotheses, they can learn more complex hypotheses if necessary. In experiments, OccamNets outperform or rival state-of-the-art methods run on architectures that do not incorporate these inductive biases. Furthermore, we demonstrate that when the state-of-the-art debiasing methods are combined with OccamNets results further improve.
• Abstract（参考訳）: データセットバイアスとスプリアス相関は、ディープニューラルネットワークの一般化を著しく損なう可能性がある。 従来の多くの取り組みでは、代替損失関数や稀なパターンに焦点を当てたサンプリング戦略を用いてこの問題に対処してきた。 ネットワークアーキテクチャを改良して帰納バイアスを課し、ネットワークをデータセットバイアスに頑健にする、という新たな方向性を提案する。 具体的には,設計によりより単純なソリューションを好むように偏りのあるoccamnetを提案する。 OccamNetには2つの帰納バイアスがある。 まず、個々の例で必要最小限のネットワーク深度を使用するようにバイアスがかかる。 第二に、画像の位置を減らして予測する傾向にある。 OccamNetsは単純な仮説に偏っているが、必要であればより複雑な仮説を学ぶことができる。 実験では、occamnetsは、これらの帰納的バイアスを含まないアーキテクチャ上で動作する最先端のメソッドよりも優れています。 さらに,最先端のデバイアス法とoccamnetsを組み合わせるとさらに改善することを示す。

関連論文リスト

• DeNetDM: Debiasing by Network Depth Modulation [6.550893772143]
  本稿では,ネットワーク深度変調を用いた新しいデバイアス法DeNetDMを提案する。 本手法では,バイアスアノテーションや明示的なデータ拡張は必要とせず,いずれかあるいは両方を必要とするアプローチと同等に実行する。 DeNetDMは、合成データセットと実世界のデータセットの両方において、既存のデバイアス手法を5%上回っていることを実証する。
  論文  参考訳（メタデータ） (2024-03-28T22:17:19Z)
• Fast Model Debias with Machine Unlearning [54.32026474971696]
  ディープニューラルネットワークは多くの現実世界のシナリオでバイアスのある振る舞いをする。 既存のデバイアス法は、バイアスラベルやモデル再トレーニングのコストが高い。 バイアスを特定し,評価し,除去するための効率的なアプローチを提供する高速モデル脱バイアスフレームワーク(FMD)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T08:10:57Z)
• The Double-Edged Sword of Implicit Bias: Generalization vs. Robustness in ReLU Networks [64.12052498909105]
  本稿では,ReLUネットワークにおける勾配流の暗黙的バイアスが一般化と対角的ロバスト性に与える影響について検討する。 2層ReLUネットワークでは、勾配流は一般化された解に偏りがあるが、敵の例には非常に弱い。
  論文  参考訳（メタデータ） (2023-03-02T18:14:35Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)
• Training Debiased Subnetworks with Contrastive Weight Pruning [45.27261440157806]
  我々は、未バイアスのスパイラスワークの探索において、既存のアルゴリズムの潜在的な制限を警告する理論的な洞察を示す。 そこで我々は,構造学習におけるバイアス強調サンプルの重要性を解明した。 これらの観測により,高価なグループアノテーションを使わずに非バイアス処理を探索するDCWPアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-11T08:25:47Z)
• Towards Measuring Bias in Image Classification [61.802949761385]
  畳み込みニューラルネットワーク(CNN)は、主要なコンピュータビジョンタスクの最先端技術となっている。 しかし、複雑な構造のため、その決定は産業世界の何らかの文脈での使用を制限するかを理解することは困難である。 帰属マップによるデータのバイアスを明らかにするための体系的なアプローチを提案する。
  論文  参考訳（メタデータ） (2021-07-01T10:50:39Z)
• Simon Says: Evaluating and Mitigating Bias in Pruned Neural Networks with Knowledge Distillation [8.238238958749134]
  プルーニングニューラルネットワークの評価と緩和に関する現在の文献には明確なギャップがある。 本稿では,CEV(Combined Error Variance)とSDE(Symmetric Distance Error)の2つの簡易かつ効果的な指標を提案する。 第二に、知識蒸留は、不均衡なデータセットであっても、刈り取られたニューラルネットワークにおける誘導バイアスを軽減することができることを実証する。 第3に、モデル類似性はプルーニング誘起バイアスと強い相関関係があることを明らかにし、なぜプルーニングニューラルネットワークでバイアスが発生するのかを説明する強力な方法を提供する。
  論文  参考訳（メタデータ） (2021-06-15T02:59:32Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• Are Bias Mitigation Techniques for Deep Learning Effective? [24.84797949716142]
  改良された評価プロトコル、有能なメトリクス、新しいデータセットを導入する。 我々は、同じネットワークアーキテクチャを用いて、7つの最先端アルゴリズムを評価する。 アルゴリズムは隠れバイアスを悪用し、複数の形式のバイアスにスケールできず、チューニングセットの選択に非常に敏感であることがわかった。
  論文  参考訳（メタデータ） (2021-04-01T00:14:45Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。