論文の概要: Ensembles provably learn equivariance through data augmentation

• arxiv url: http://arxiv.org/abs/2410.01452v1
• Date: Wed, 2 Oct 2024 12:02:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 17:44:25.205647
• Title: Ensembles provably learn equivariance through data augmentation
• Title（参考訳）: アンサンブルはデータ拡張による等価性を確実に学習する
• Authors: Oskar Nordenfors, Axel Flinth,
• Abstract要約: 群等分散は、無限に広いニューラルネットワークの極限における完全な拡張の結果、ニューラルネットワークのアンサンブルに現れる。 この出現は、ニューラルネットワークのカーネル制限に全く依存しないことを示す。
• 参考スコア（独自算出の注目度）: 2.480023305418
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recently, it was proved that group equivariance emerges in ensembles of neural networks as the result of full augmentation in the limit of infinitely wide neural networks (neural tangent kernel limit). In this paper, we extend this result significantly. We provide a proof that this emergence does not depend on the neural tangent kernel limit at all. We also consider stochastic settings, and furthermore general architectures. For the latter, we provide a simple sufficient condition on the relation between the architecture and the action of the group for our results to hold. We validate our findings through simple numeric experiments.
• Abstract（参考訳）: 近年,無限大のニューラルネットワーク(ニューラルネットワークの限界)の限界が完全に増大した結果,群同値がニューラルネットワークのアンサンブルに現れることが証明された。 本稿では,この結果を著しく拡張する。 この出現は、ニューラルネットワークのカーネル制限に全く依存しないことを示す。 また、確率的設定、さらに一般的なアーキテクチャについても検討する。 後者の場合、アーキテクチャと結果を保持するためのグループの動作の関係について、簡単な条件を提供する。 簡単な数値実験により得られた知見を検証した。

関連論文リスト

• Generalization and Risk Bounds for Recurrent Neural Networks [3.0638061480679912]
  我々は,バニラRNNに対する新しい一般化誤差を確立する。 我々は、様々な損失関数に適用可能なRademacher複雑性を計算する統一的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-11-05T03:49:06Z)
• Polynomially Over-Parameterized Convolutional Neural Networks Contain Structured Strong Winning Lottery Tickets [4.020829863982153]
  十分に小さなネットワークを近似できる構造化ニューラルワークの存在を実証する。 この結果は、Strong Lottery Ticket仮説の周りの最初の部分指数境界を与える。
  論文  参考訳（メタデータ） (2023-11-16T12:38:45Z)
• Decorrelating neurons using persistence [29.25969187808722]
  2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。 ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。 正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
  論文  参考訳（メタデータ） (2023-08-09T11:09:14Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• The Curious Case of Convex Neural Networks [12.56278477726461]
  完全連結層と畳み込み層の両方に凸性制約を適用可能であることを示す。 a) IOC-NN(Input Output Convex Neural Networks)の自己正規化とオーバーフィッティング(オーバーフィッティング)の問題の低減; (b) 厳しい制約にもかかわらず、ベースマルチレイヤのパーセプトロンを上回り、ベースコンボリューションアーキテクチャと比較して同様のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-06-09T08:16:38Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。