論文の概要: Neural Networks Are Implicit Decision Trees: The Hierarchical Simplicity Bias

• arxiv url: http://arxiv.org/abs/2311.02622v1
• Date: Sun, 5 Nov 2023 11:27:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 16:40:36.292186
• Title: Neural Networks Are Implicit Decision Trees: The Hierarchical Simplicity Bias
• Title（参考訳）: ニューラルネットワークは複雑な決定木:階層的単純性バイアス
• Authors: Zhehang Du
• Abstract要約: 単純な特徴と複雑な特徴が異なるレベルの予測能力を示すシナリオを考察するために,不均衡ラベル結合と呼ばれる新しい手法を導入する。 トレーニングされたネットワークは、トレーニングセット内のラベルとどのように相関するかに応じて、入力機能の上昇する複雑さを予測します。 この観察は、ニューラルネットワークが刺激的な特徴の存在下でコア特徴を学習しているという直接的な証拠を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks exhibit simplicity bias; they rely on simpler features while ignoring equally predictive but more complex features. In this work, we introduce a novel approach termed imbalanced label coupling to investigate scenarios where simple and complex features exhibit different levels of predictive power. In these cases, complex features still contribute to predictions. The trained networks make predictions in alignment with the ascending complexity of input features according to how they correlate with the label in the training set, irrespective of the underlying predictive power. For instance, even when simple spurious features distort predictions in CIFAR-10, most cats are predicted to be dogs, and most trucks are predicted to be automobiles! This observation provides direct evidence that the neural network learns core features in the presence of spurious features. We empirically show that last-layer retraining with target data distribution is effective, yet insufficient to fully recover core features when spurious features are perfectly correlated with the target labels in our synthetic dataset. We hope our research contributes to a deeper understanding of the implicit bias of neural networks.
• Abstract（参考訳）: ニューラルネットワークは単純さのバイアスを示し、より単純な特徴に依存しながら、等しく予測的だがより複雑な特徴を無視している。 本研究では, 単純かつ複雑な特徴が予測能力の異なるレベルを示すシナリオを考察するために, 不均衡ラベル結合という新しい手法を提案する。 このような場合、複雑な特徴が予測に寄与する。 トレーニングされたネットワークは、基礎となる予測能力に関係なく、トレーニングセットのラベルとどのように相関するかに応じて、入力機能の上昇する複雑性に合わせて予測を行う。 例えば、CIFAR-10の単純な突発的特徴が歪曲する予測であっても、ほとんどの猫は犬であると予測され、ほとんどのトラックは自動車であると予測されます! この観察は、ニューラルネットワークがスプリアス特徴の存在下でコア特徴を学ぶという直接的な証拠を提供する。 目的とするデータ分布による最終層再トレーニングは有効であるが, 合成データセットのターゲットラベルと完全相関している場合, コア機能の完全回復には不十分であることを示す。 私たちの研究が、ニューラルネットワークの暗黙の偏見をより深く理解してくれることを願っています。

関連論文リスト

• Simplicity Bias of Two-Layer Networks beyond Linearly Separable Data [4.14360329494344]
  重みが小さい2層ニューラルネットワークの文脈における一般データセットの単純さバイアスを特徴付け、勾配流を訓練する。 XORのようなパターンを持つデータセットに対しては、学習した特徴を正確に識別し、後続のトレーニング段階で単純さのバイアスが強まることを示す。 これらの結果から,訓練中期に学習した特徴がOOD伝達に有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-27T16:00:45Z)
• Can Implicit Bias Imply Adversarial Robustness? [36.467655284354606]
  勾配に基づくトレーニングアルゴリズムの暗黙のバイアスは、しばしばよく一般化されるトレーニングネットワークにつながるため、主に有益であると考えられている。 しかし、Frei et al. (2023) は、そのような暗黙の偏見が敵の堅牢性を傷つけることを示した。 この結果から,トレーニングネットワークの暗黙的バイアスとロバスト性において,データ構造とアーキテクチャの相互作用の重要性を強調した。
  論文  参考訳（メタデータ） (2024-05-24T21:09:53Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Overcoming Simplicity Bias in Deep Networks using a Feature Sieve [5.33024001730262]
  本稿では,深層ネットワークにおける単純さバイアスに対処するための直接的,介入的手法を提案する。 ネットワークの下位層で容易に計算可能なスプリアス機能を自動的に識別し,抑制することを目的としている。 実世界のデバイアスのベンチマークでは,かなりの増加が報告されている。
  論文  参考訳（メタデータ） (2023-01-30T21:11:13Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Self-supervised debiasing using low rank regularization [59.84695042540525]
  純粋な相関は、ディープニューラルネットワークの強いバイアスを引き起こし、一般化能力を損なう可能性がある。 ラベルのないサンプルと互換性のある自己監督型脱バイアスフレームワークを提案する。 注目すべきは,提案フレームワークが自己教師付き学習ベースラインの一般化性能を著しく向上させることである。
  論文  参考訳（メタデータ） (2022-10-11T08:26:19Z)
• Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks [66.76034024335833]
  バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。 本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。 我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
  論文  参考訳（メタデータ） (2022-10-04T04:01:15Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)
• Learning from Failure: Training Debiased Classifier from Biased Classifier [76.52804102765931]
  ニューラルネットワークは、所望の知識よりも学習が簡単である場合にのみ、素早い相関に依存することを学習していることを示す。 本稿では,一対のニューラルネットワークを同時にトレーニングすることで,障害に基づくデバイアス化手法を提案する。 本手法は,合成データセットと実世界のデータセットの両方において,各種バイアスに対するネットワークのトレーニングを大幅に改善する。
  論文  参考訳（メタデータ） (2020-07-06T07:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。