論文の概要: The role of locality and weight sharing in convolutional neural networks

• arxiv url: http://arxiv.org/abs/2610.30118v1
• Date: Wed, 21 Oct 2026 17:56:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.468674
• Title: The role of locality and weight sharing in convolutional neural networks
• Title（参考訳）: 畳み込みニューラルネットワークにおける局所性と体重共有の役割
• Abstract要約: 局所性と体重共有は畳み込みニューラルネットワークに影響を及ぼす。 これら2つの特性が個別に形状学習し、それらの効果が自然画像の空間的相関にどのように依存するかを示す。 局所的に連結した学生が早期に勝利し,後期に畳み込みの学生が勝利したことを解析的に予測した。
• 参考スコア（独自算出の注目度）: 7.777696851397537
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The success of convolutional neural networks is often attributed to locality and weight sharing. However, how these two properties separately shape learning, and how their effects depend on the spatial correlations of natural images, remain poorly understood. We address these questions in a teacher-student model with a convolutional teacher acting on $P$ input positions with correlation $c$ between positions. We compare convolutional and locally connected students trained by online stochastic gradient descent, and derive ordinary differential equations that describe their dynamics exactly in the limit of large feature dimension $D$. For uncorrelated positions ($c = 0$), the two students follow the same learning trajectory, with the convolutional student learning exactly $P$ times faster. We also find that locality affects the sample complexity: a student that matches the kernel size of the teacher recovers it from $\mathcal{O}_{D}(D)$ samples, whereas $\mathcal{O}_{D}(D\log(D))$ samples are needed with a larger kernel. For $c > 0$, spatial correlations can reduce the advantage of weight sharing. The asymptotic error of the convolutional student grows with $c$, whereas that of the locally connected student is independent of $c$ and overall lower when evaluated at the same learning rate. When the learning rate is instead tuned to the training horizon, however, the locally connected student wins at early times and the convolutional student at late times, with a transition that we predict analytically.
• Abstract（参考訳）: 畳み込みニューラルネットワークの成功は、しばしば局所性と重み共有に起因する。 しかし、これらの2つの特性が個別に形状学習し、それらの効果が自然画像の空間的相関にどのように依存するかは、いまだに理解されていない。 そこで本稿では,P$の入力位置で行動する畳み込み型教師と,位置間の相関が$c$である教師-学生モデルを用いて,これらの疑問に対処する。 オンライン確率勾配降下によって訓練された畳み込みと局所連結した学生を比較し、その力学をD$という大きな特徴次元の極限で正確に記述する常微分方程式を導出する。 相関のない位置(c = 0$)では、2人の生徒は同じ学習経路を辿り、畳み込み学習は正確にP$倍の速さで学習する。 教師のカーネルサイズにマッチする学生が$\mathcal{O}_{D}(D)$サンプルからそれを回収するのに対して、$\mathcal{O}_{D}(D\log(D))$サンプルはより大きなカーネルで必要とされる。 c > 0$ の場合、空間的相関は重み共有の利点を減らすことができる。 畳み込み学習者の漸近的誤りは$c$で増大するが、同じ学習率で評価すると、局所的に連結された学生は$c$から独立し、全体としては$c$から独立する。 しかし、学習率をトレーニングの地平線に合わせると、局所的に繋がった学生は、早期に勝利し、後期に革命的な学生が勝利し、分析的に予測できる遷移が生じる。

関連論文リスト

• Emergence and scaling laws in SGD learning of shallow neural networks [64.48316762675141]
  等方性ガウスデータに基づいてP$ニューロンを持つ2層ニューラルネットワークを学習するためのオンライン勾配降下(SGD)の複雑さについて検討した。 平均二乗誤差(MSE)を最小化するために,学生2層ネットワークのトレーニングのためのSGDダイナミックスを高精度に解析する。
  論文  参考訳（メタデータ） (2025-04-28T16:58:55Z)
• Optimal generalisation and learning transition in extensive-width shallow neural networks near interpolation [4.976898227858662]
  教師が指導する2層ニューラルネットワークを用いた教師型学習モデルについて考察する。 任意の活性化関数に対するネットワークのベイズ最適一般化誤差を近似する有効な理論を提供する。
  論文  参考訳（メタデータ） (2025-01-30T17:56:52Z)
• The Optimization Landscape of SGD Across the Feature Learning Strength [102.1353410293931]
  オンライントレーニング環境で、さまざまなモデルやデータセットに$gamma$をスケーリングする効果について検討する。 最適なオンラインパフォーマンスは、しばしば大きな$gamma$で見られます。 以上の結果から,大容量ガンマ$限界の解析的研究は,実演モデルにおける表現学習のダイナミクスに関する有用な知見をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-06T22:30:14Z)
• Spatially heterogeneous learning by a deep student machine [0.0]
  多数の調整可能なパラメータを持つディープニューラルネットワーク(DNN)は、ほとんどブラックボックスのままである。 我々は,教師学生設定と呼ばれる統計力学手法を用いて,NL$パーセプトロンと$c$入力からなるDNNと深度$L$の教師学習について検討した。 N gg c gg 1$ and $M gg 1$ with fixed $alpha=M/c$ using the replica method developed in (H. Yoshino,)
  論文  参考訳（メタデータ） (2023-02-15T01:09:03Z)
• Locality defeats the curse of dimensionality in convolutional teacher-student scenarios [69.2027612631023]
  学習曲線指数$beta$を決定する上で,局所性が重要であることを示す。 我々は、自然の仮定を用いて、トレーニングセットのサイズに応じて減少するリッジでカーネルレグレッションを実行すると、リッジレスの場合と同じような学習曲線指数が得られることを証明して結論付けた。
  論文  参考訳（メタデータ） (2021-06-16T08:27:31Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• Optimization and Generalization of Shallow Neural Networks with Quadratic Activation Functions [11.70706646606773]
  本研究では,一層ニューラルネットワークの最適化と一般化特性について検討する。 本研究では,教師が小幅の隠蔽層を持つ学生と同じ構造を持つ教師学生シナリオについて考察する。 同じ条件下では、経験的損失の勾配降下ダイナミクスが収束し、小さな一般化誤差をもたらすことが示される。
  論文  参考訳（メタデータ） (2020-06-27T22:13:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。