論文の概要: Do Neural Networks Generalize from Self-Averaging Sub-classifiers in the Same Way As Adaptive Boosting?

• arxiv url: http://arxiv.org/abs/2302.06923v1
• Date: Tue, 14 Feb 2023 09:20:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-15 15:55:03.653962
• Title: Do Neural Networks Generalize from Self-Averaging Sub-classifiers in the Same Way As Adaptive Boosting?
• Title（参考訳）: ニューラルネットワークは適応ブースティングと同じ方法で自己平均サブクラス化器から一般化されるか?
• Authors: Michael Sun and Peter Chatain
• Abstract要約: 我々の研究は、なぜニューラルネットワークが一般化されるのかを説明することを目指している。 我々の知る限り、我々は、強化された分類器の一般化とディープNNの一般化の関連性を確立する最初の著者である。 我々の実験的証拠と理論的分析から、降雨で訓練されたNNは、補間後の一般化現象の一般的な説明に引用されるように、補間サブクラス化子に対して同様の自己破壊行動を示すことが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, neural networks (NNs) have made giant leaps in a wide variety of domains. NNs are often referred to as black box algorithms due to how little we can explain their empirical success. Our foundational research seeks to explain why neural networks generalize. A recent advancement derived a mutual information measure for explaining the performance of deep NNs through a sequence of increasingly complex functions. We show deep NNs learn a series of boosted classifiers whose generalization is popularly attributed to self-averaging over an increasing number of interpolating sub-classifiers. To our knowledge, we are the first authors to establish the connection between generalization in boosted classifiers and generalization in deep NNs. Our experimental evidence and theoretical analysis suggest NNs trained with dropout exhibit similar self-averaging behavior over interpolating sub-classifiers as cited in popular explanations for the post-interpolation generalization phenomenon in boosting.
• Abstract（参考訳）: 近年、ニューラルネットワーク(nns)は、さまざまな領域で大きな飛躍を遂げている。 NNは、経験的成功をほとんど説明できないため、ブラックボックスアルゴリズムと呼ばれることが多い。 我々の基礎研究は、なぜニューラルネットワークが一般化するのかを説明することを目指している。 最近の進歩は、ますます複雑な関数列を通じてディープNNの性能を説明するための相互情報測度を導出した。 深層nnは,補間サブ分類器の数が増大するにつれて,自己平均化が一般化した一連のブースト分類器を学習する。 我々の知る限り、我々は、強化された分類器の一般化とディープNNの一般化の関連性を確立する最初の著者である。 実験結果と理論的解析から, ドロップアウトで訓練されたnnは, ブースティングにおける補間一般化現象の一般的な説明で引用されるように, 補間サブ分類器に対して類似した自己平均挙動を示すことが示唆された。

関連論文リスト

• Infinite Width Limits of Self Supervised Neural Networks [6.178817969919849]
  NTKと自己教師型学習のギャップを埋め、Barlow Twinsの損失下で訓練された2層ニューラルネットワークに焦点を当てる。 ネットワークの幅が無限大に近づくと、バーロウ・ツインズのNTKは確かに一定となる。
  論文  参考訳（メタデータ） (2024-11-17T21:13:57Z)
• Deep Grokking: Would Deep Neural Networks Generalize Better? [51.24007462968805]
  グロキング(Grokking)とは、テストセットにおけるネットワークの一般化精度の急激な上昇を指す。 深層ニューラルネットワークは、浅いものよりもグラッキングの影響を受けやすいことがわかりました。 また,モデル深度を増大させると,興味深い多段階一般化現象が観測される。
  論文  参考訳（メタデータ） (2024-05-29T19:05:11Z)
• Norm-based Generalization Bounds for Compositionally Sparse Neural Networks [11.987589603961622]
  畳み込みニューラルネットワークを含む多層スパースReLUニューラルネットワークに対する一般化境界を証明した。 これらの結果から, 深いニューラルネットワークの成功には, 対象関数の組成空間が重要であることが示唆された。
  論文  参考訳（メタデータ） (2023-01-28T00:06:22Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。