論文の概要: On the Sample Complexity of One Hidden Layer Networks with Equivariance, Locality and Weight Sharing

• arxiv url: http://arxiv.org/abs/2411.14288v1
• Date: Thu, 21 Nov 2024 16:36:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:19:59.995689
• Title: On the Sample Complexity of One Hidden Layer Networks with Equivariance, Locality and Weight Sharing
• Title（参考訳）: 等分散, 局所性, 重み共有を有する1つの隠れ層ネットワークのサンプル複雑性について
• Authors: Arash Behboodi, Gabriele Cesa,
• Abstract要約: 畳み込みニューラルネットワークのような重み共有、等分散、局所フィルタは、ニューラルネットワークのサンプル効率に寄与すると考えられている。 単一の隠蔽層ネットワークのクラスに対して,下層および上層における複雑性境界を求める。 境界はフィルターのノルムにのみ依存しており、これは各行列のスペクトルノルムよりも厳密であることを示す。
• 参考スコア（独自算出の注目度）: 12.845681770287005
• License:
• Abstract: Weight sharing, equivariance, and local filters, as in convolutional neural networks, are believed to contribute to the sample efficiency of neural networks. However, it is not clear how each one of these design choices contribute to the generalization error. Through the lens of statistical learning theory, we aim to provide an insight into this question by characterizing the relative impact of each choice on the sample complexity. We obtain lower and upper sample complexity bounds for a class of single hidden layer networks. It is shown that the gain of equivariance is directly manifested in the bound, while getting a similar increase for weight sharing depends on the sharing mechanism. Among our results, we obtain a completely dimension-free bound for equivariant networks for a class of pooling operations. We show that the bound depends merely on the norm of filters, which is tighter than using the spectral norm of the respective matrix. We also characterize the trade-off in sample complexity between the parametrization of filters in spatial and frequency domains, particularly when spatial filters are localized as in vanilla convolutional neural networks.
• Abstract（参考訳）: 畳み込みニューラルネットワークのような重み共有、等分散、局所フィルタは、ニューラルネットワークのサンプル効率に寄与すると考えられている。 しかし、これらの設計選択が一般化誤差にどのように貢献するかは明らかでない。 統計的学習理論のレンズを通して、各選択の相対的影響がサンプルの複雑さに与える影響を特徴付けることにより、この問題に対する洞察を提供することを目的とする。 単一の隠蔽層ネットワークのクラスに対して,下層および上層における複雑性境界を求める。 等分散の利得は, 共有機構に依拠し, 類似の重み共有の増大を図っている。 この結果のうち、プール操作のクラスに対する同変ネットワークに対する完全次元自由境界が得られる。 境界はフィルターのノルムにのみ依存しており、これは各行列のスペクトルノルムよりも厳密であることを示す。 また、空間領域と周波数領域におけるフィルタのパラメトリゼーションと、特にバニラ畳み込みニューラルネットワークのように空間フィルタが局所化されている場合のサンプル複雑性のトレードオフを特徴付ける。

関連論文リスト

• The impact of allocation strategies in subset learning on the expressive power of neural networks [0.0]
  一定数の学習可能な重みの割り当てがニューラルネットワークの容量に与える影響について検討する。 線形リカレントニューラルネットワークと線形多層フィードフォワードネットワークにおいて、アロケーションが最大または最小表現力を持つ条件を確立する。 その結果,学習可能なウェイトをネットワーク全体に戦略的に分散する上で重要な役割が強調され,より広範なアロケーションがネットワークの表現力を高めることが示唆された。
  論文  参考訳（メタデータ） (2025-02-10T09:43:43Z)
• Deterministic equivalent and error universality of deep random features learning [4.8461049669050915]
  この問題は、広く研究されているランダム特徴モデルのより深いアーキテクチャへの自然な一般化と見なすことができる。 まず,学習者と対象ネットワークが同一の中間層を共有した普遍性リッジ設定において,テストエラーの普遍性を証明し,そのシャープな式を提供する。 第二に、任意の凸損失と一般的な学習/ターゲットアーキテクチャのより一般的な設定において、テストエラーの普遍性を予想する。
  論文  参考訳（メタデータ） (2023-02-01T12:37:10Z)
• Understanding the Covariance Structure of Convolutional Filters [86.0964031294896]
  最近では、ConvMixerやConvNeXtのようなViTにインスパイアされた畳み込みネットワークは、注目すべき構造を持つ大カーネル深度畳み込みを使用している。 まず,このような学習フィルタの共分散行列が高度に構造化されていることを観測し,より大規模なネットワークを効果的に初期化するために,小さなネットワークから計算した共分散が用いられることを発見した。
  論文  参考訳（メタデータ） (2022-10-07T15:59:13Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Deep neural networks with dependent weights: Gaussian Process mixture limit, heavy tails, sparsity and compressibility [18.531464406721412]
  本稿では,重みに依存するディープフィードフォワードニューラルネットワークの無限幅限界について検討する。 ネットワークの各隠れノードは、そのノードの出力重みの分散を制御する非負のランダム変数が割り当てられる。
  論文  参考訳（メタデータ） (2022-05-17T09:14:32Z)
• Equivariance Allows Handling Multiple Nuisance Variables When Analyzing Pooled Neuroimaging Datasets [53.34152466646884]
  本稿では,構造空間上でインスタンス化された同変表現学習における最近の結果と,因果推論における古典的結果の簡易な利用が,いかに効果的に実現されたかを示す。 いくつかの仮定の下で、我々のモデルが複数のニュアンス変数を扱えることを実証し、そうでなければサンプルの大部分を取り除く必要のあるシナリオにおいて、プールされた科学データセットの分析を可能にする。
  論文  参考訳（メタデータ） (2022-03-29T04:54:06Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• Understanding the Distributions of Aggregation Layers in Deep Neural Networks [8.784438985280092]
  集約関数は、よりコンパクトな表現に深い特徴を統合するための重要なメカニズムである。 特に、DNNの出力層へのグローバルアグリゲーション層の近接は、集約された特徴がディープネットの性能に直接的な影響を与えることを意味する。 本稿では,深い特徴集約に関わるレイヤの出力値の確率分布を解析的にモデル化する,新しい数学的定式化を提案する。
  論文  参考訳（メタデータ） (2021-07-09T14:23:57Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Gaussian Mixture Graphical Lasso with Application to Edge Detection in Brain Networks [21.49394455839253]
  この作品はLatent DirichletAllocation (LDA)にインスパイアされたものです。 GaussianMixture Graphical Lasso (MGL) という新しいモデルを提案する。 mglは、各混合成分が生成する信号の比率とそれらのパラメータをemフレームワークを介して反復的に学習する。
  論文  参考訳（メタデータ） (2021-01-13T21:15:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。