論文の概要: On the Sample Complexity of One Hidden Layer Networks with Equivariance, Locality and Weight Sharing

• arxiv url: http://arxiv.org/abs/2411.14288v2
• Date: Thu, 23 Jan 2025 22:12:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:55:03.293858
• Title: On the Sample Complexity of One Hidden Layer Networks with Equivariance, Locality and Weight Sharing
• Title（参考訳）: 等分散, 局所性, 重み共有を有する1つの隠れ層ネットワークのサンプル複雑性について
• Authors: Arash Behboodi, Gabriele Cesa,
• Abstract要約: 重み共有、同変、局所フィルタは、ニューラルネットワークのサンプル効率に寄与していると考えられている。 局所性には一般化の利点があることが示されるが、不確実性原理は局所性と表現性の間のトレードオフを意味する。
• 参考スコア（独自算出の注目度）: 12.845681770287005
• License:
• Abstract: Weight sharing, equivariance, and local filters, as in convolutional neural networks, are believed to contribute to the sample efficiency of neural networks. However, it is not clear how each one of these design choices contributes to the generalization error. Through the lens of statistical learning theory, we aim to provide insight into this question by characterizing the relative impact of each choice on the sample complexity. We obtain lower and upper sample complexity bounds for a class of single hidden layer networks. For a large class of activation functions, the bounds depend merely on the norm of filters and are dimension-independent. We also provide bounds for max-pooling and an extension to multi-layer networks, both with mild dimension dependence. We provide a few takeaways from the theoretical results. It can be shown that depending on the weight-sharing mechanism, the non-equivariant weight-sharing can yield a similar generalization bound as the equivariant one. We show that locality has generalization benefits, however the uncertainty principle implies a trade-off between locality and expressivity. We conduct extensive experiments and highlight some consistent trends for these models.
• Abstract（参考訳）: 畳み込みニューラルネットワークのような重み共有、等分散、局所フィルタは、ニューラルネットワークのサンプル効率に寄与すると考えられている。 しかし、これらの設計選択が一般化誤差にどのように貢献するかは明らかでない。 統計的学習理論のレンズを通して、各選択の相対的影響がサンプルの複雑さに与える影響を特徴付けることにより、この問題に対する洞察を提供することを目的とする。 単一の隠蔽層ネットワークのクラスに対して,下層および上層における複雑性境界を求める。 活性化関数の大規模なクラスでは、境界はフィルターのノルムにのみ依存し、次元に依存しない。 また、最大プーリングのためのバウンダリと、穏やかな次元依存を伴う多層ネットワークの拡張も提供する。 理論的結果からいくつかの点を引用する。 ウェイトシェアリング機構により、非同変ウェイトシェアリングは同変ウェイトシェアリングと同様の一般化が得られることが示せる。 局所性には一般化の利点があることが示されるが、不確実性原理は局所性と表現性の間のトレードオフを意味する。 広範な実験を行い、これらのモデルの一貫性のある傾向を強調します。

関連論文リスト

• Sampling weights of deep neural networks [1.2370077627846041]
  完全に接続されたニューラルネットワークの重みとバイアスに対して,効率的なサンプリングアルゴリズムと組み合わせた確率分布を導入する。 教師付き学習環境では、内部ネットワークパラメータの反復最適化や勾配計算は不要である。 サンプルネットワークが普遍近似器であることを証明する。
  論文  参考訳（メタデータ） (2023-06-29T10:13:36Z)
• Understanding the Covariance Structure of Convolutional Filters [86.0964031294896]
  最近では、ConvMixerやConvNeXtのようなViTにインスパイアされた畳み込みネットワークは、注目すべき構造を持つ大カーネル深度畳み込みを使用している。 まず,このような学習フィルタの共分散行列が高度に構造化されていることを観測し,より大規模なネットワークを効果的に初期化するために,小さなネットワークから計算した共分散が用いられることを発見した。
  論文  参考訳（メタデータ） (2022-10-07T15:59:13Z)
• On the Shift Invariance of Max Pooling Feature Maps in Convolutional Neural Networks [0.0]
  ガボル型フィルタによるサブサンプル畳み込みはエイリアスしがちであり、小さな入力シフトに敏感である。 安定性を実現する上で,フィルタの周波数と向きが果たす重要な役割を強調した。 二重ツリー複合ウェーブレットパケット変換に基づく決定論的特徴抽出器を設計し,本理論を実験的に検証する。
  論文  参考訳（メタデータ） (2022-09-19T08:15:30Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Deep Learning for the Benes Filter [91.3755431537592]
  本研究では,メッシュのないニューラルネットワークによるベンズモデルの解の密度の表現に基づく新しい数値計算法を提案する。 ニューラルネットワークの領域選択におけるフィルタリングモデル方程式における非線形性の役割について論じる。
  論文  参考訳（メタデータ） (2022-03-09T14:08:38Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• Implicit Equivariance in Convolutional Networks [1.911678487931003]
  IEN(Implicitly Equivariant Networks)は標準CNNモデルの異なる層で同変を誘導する。 IENは、高速な推論速度を提供しながら、最先端の回転同変追跡法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-11-28T14:44:17Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation [72.40827239394565]
  スパースサンプリングされた場所のみの機能を計算することを提案する。 次に、効率的な手順で特徴写像を密に再構築する。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
  論文  参考訳（メタデータ） (2020-03-19T15:36:31Z)
• Revisiting Spatial Invariance with Low-Rank Local Connectivity [33.430515807834254]
  空間的不変性を緩和することで,畳み込み層と局所連結層の両方の分類精度が向上することを示す。 小さな畳み込みネットワークを用いた実験では、空間的不変性が畳み込み層と局所連結層の両方の分類精度を向上させることが判明した。
  論文  参考訳（メタデータ） (2020-02-07T18:56:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。