論文の概要: Hierarchical Simplicity Bias of Neural Networks

• arxiv url: http://arxiv.org/abs/2311.02622v2
• Date: Tue, 22 Oct 2024 01:41:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:25:58.247119
• Title: Hierarchical Simplicity Bias of Neural Networks
• Title（参考訳）: ニューラルネットワークの階層的単純性バイアス
• Authors: Zhehang Du,
• Abstract要約: 非平衡ラベル結合と呼ばれる新しい手法を導入し、この単純さのバイアスを階層的なレベルにわたって探索し、拡張する。 提案手法は,トレーニングセット内のラベルとの相関に基づいて,複雑性を増大させる特徴を逐次考慮していることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Neural networks often exhibit simplicity bias, favoring simpler features over more complex ones, even when both are equally predictive. We introduce a novel method called imbalanced label coupling to explore and extend this simplicity bias across multiple hierarchical levels. Our approach demonstrates that trained networks sequentially consider features of increasing complexity based on their correlation with labels in the training set, regardless of their actual predictive power. For example, in CIFAR-10, simple spurious features can cause misclassifications where most cats are predicted as dogs and most trucks as automobiles. We empirically show that last-layer retraining with target data distribution \citep{kirichenko2022last} is insufficient to fully recover core features when spurious features perfectly correlate with target labels in our synthetic datasets. Our findings deepen the understanding of the implicit biases inherent in neural networks.
• Abstract（参考訳）: ニューラルネットワークはしばしば単純さのバイアスを示し、より複雑なものよりもより単純な機能を好む。 我々は,この単純さバイアスを複数の階層レベルにわたって探索し,拡張するために,不均衡ラベル結合と呼ばれる新しい手法を導入する。 提案手法は,実予測能力に関わらず,トレーニングセット内のラベルとの相関関係に基づいて,ネットワークの複雑性が増大する特徴を逐次考慮していることを示す。 例えば、CIFAR-10では、単純な刺激的な特徴は、ほとんどの猫が犬、ほとんどのトラックが自動車として予測される誤分類を引き起こす可能性がある。 目的とするデータ分布を用いた最終層再学習は, 合成データセットのターゲットラベルと完全に相関している時, コア特徴の完全回復には不十分であることが実証的に示されている。 我々の研究結果は、ニューラルネットワークに固有の暗黙のバイアスの理解を深めた。

関連論文リスト

• Simplicity Bias of Two-Layer Networks beyond Linearly Separable Data [4.14360329494344]
  重みが小さい2層ニューラルネットワークの文脈における一般データセットの単純さバイアスを特徴付け、勾配流を訓練する。 XORのようなパターンを持つデータセットに対しては、学習した特徴を正確に識別し、後続のトレーニング段階で単純さのバイアスが強まることを示す。 これらの結果から,訓練中期に学習した特徴がOOD伝達に有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-27T16:00:45Z)
• Can Implicit Bias Imply Adversarial Robustness? [36.467655284354606]
  勾配に基づくトレーニングアルゴリズムの暗黙のバイアスは、しばしばよく一般化されるトレーニングネットワークにつながるため、主に有益であると考えられている。 しかし、Frei et al. (2023) は、そのような暗黙の偏見が敵の堅牢性を傷つけることを示した。 この結果から,トレーニングネットワークの暗黙的バイアスとロバスト性において,データ構造とアーキテクチャの相互作用の重要性を強調した。
  論文  参考訳（メタデータ） (2024-05-24T21:09:53Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Overcoming Simplicity Bias in Deep Networks using a Feature Sieve [5.33024001730262]
  本稿では,深層ネットワークにおける単純さバイアスに対処するための直接的,介入的手法を提案する。 ネットワークの下位層で容易に計算可能なスプリアス機能を自動的に識別し,抑制することを目的としている。 実世界のデバイアスのベンチマークでは,かなりの増加が報告されている。
  論文  参考訳（メタデータ） (2023-01-30T21:11:13Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)
• Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks [66.76034024335833]
  バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。 本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。 我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
  論文  参考訳（メタデータ） (2022-10-04T04:01:15Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。