論文の概要: The Inductive Bias of Convolutional Neural Networks: Locality and Weight Sharing Reshape Implicit Regularization

• arxiv url: http://arxiv.org/abs/2603.04807v1
• Date: Thu, 05 Mar 2026 04:50:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-06 22:06:11.072193
• Title: The Inductive Bias of Convolutional Neural Networks: Locality and Weight Sharing Reshape Implicit Regularization
• Title（参考訳）: 畳み込みニューラルネットの帰納バイアス:局所性と重み共有不規則化
• Authors: Tongtong Liang, Esha Singh, Rahul Parhi, Alexander Cloninger, Yu-Xiang Wang,
• Abstract要約: 本研究では,勾配降下における安定性現象によって引き起こされる暗黙の正則化に,アーキテクチャ的帰納バイアスがどう影響するかを考察する。 局所性と重量共有が根本的に変化していることが示されています。
• 参考スコア（独自算出の注目度）: 57.37943479039033
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study how architectural inductive bias reshapes the implicit regularization induced by the edge-of-stability phenomenon in gradient descent. Prior work has established that for fully connected networks, the strength of this regularization is governed solely by the global input geometry; consequently, it is insufficient to prevent overfitting on difficult distributions such as the high-dimensional sphere. In this paper, we show that locality and weight sharing fundamentally change this picture. Specifically, we prove that provided the receptive field size $m$ remains small relative to the ambient dimension $d$, these networks generalize on spherical data with a rate of $n^{-\frac{1}{6} +O(m/d)}$, a regime where fully connected networks provably fail. This theoretical result confirms that weight sharing couples the learned filters to the low-dimensional patch manifold, thereby bypassing the high dimensionality of the ambient space. We further corroborate our theory by analyzing the patch geometry of natural images, showing that standard convolutional designs induce patch distributions that are highly amenable to this stability mechanism, thus providing a systematic explanation for the superior generalization of convolutional networks over fully connected baselines.
• Abstract（参考訳）: 本研究では,勾配降下における安定性現象によって引き起こされる暗黙の正則化に,アーキテクチャ的帰納バイアスがどう影響するかを考察する。 これまで、完全連結ネットワークでは、この正規化の強さは大域的な入力幾何学によってのみ支配され、したがって高次元球面のような難しい分布に過度に収まるのを防ぐには不十分であった。 本稿では,局所性と重量共有が根本的に変化していることを示す。 具体的には、受容体サイズ$m$が周囲の次元$d$に対して小さいことを証明し、これらのネットワークは、完全に接続されたネットワークが確実に失敗する状態である$n^{-\frac{1}{6} +O(m/d)}$で球面データに一般化する。 この理論的な結果は、ウェイトシェアリングが学習したフィルタを低次元パッチ多様体に結合し、それによって周囲空間の高次元性をバイパスすることを確認する。 自然画像のパッチ幾何学を解析することにより、この安定性機構に高い適合性を有するパッチ分布を標準畳み込み設計が誘導することを示し、完全連結ベースライン上での畳み込みネットワークのより優れた一般化に関する体系的な説明を提供する。

関連論文リスト

• Generalization Below the Edge of Stability: The Role of Data Geometry [60.147710896851045]
  安定性の限界以下で訓練されたReLUネットワークにおいて,データ幾何が一般化を制御するかを示す。 低次元球の混合に支持されるデータ分布について、本質的な次元に確実に適応する一般化境界を導出する。 文献に現れる異種の経験的所見を総合的に検討した。
  論文  参考訳（メタデータ） (2025-10-20T21:40:36Z)
• Precise Bayesian Neural Networks [0.0]
  我々は,現代的な正規化アーキテクチャに適合し,精度を犠牲にすることなくキャリブレーションを改善する軽量で実装可能な変分ユニットを開発した。 簡単に言えば、変分後部をネットワーク固有の幾何学と整合させることで、BNNは同時に原理化され、実用的で、正確である。
  論文  参考訳（メタデータ） (2025-06-24T15:42:00Z)
• Entanglement and the density matrix renormalisation group in the generalised Landau paradigm [0.0]
  我々は、ギャップ付き対称量子格子モデルの基底状態の絡み合い構造を決定する。 エンタングルメントスペクトルの退化は、元のモデルからユニークな双対モデルへの双対変換によって生じることを示す。
  論文  参考訳（メタデータ） (2024-08-12T17:51:00Z)
• Network reconstruction via the minimum description length principle [0.0]
  階層的ベイズ推定と重み量子化に基づく別の非パラメトリック正則化スキームを提案する。 提案手法は最小記述長 (MDL) の原理に従い, データの最大圧縮を可能にする重み分布を明らかにする。 提案手法は, 人工ネットワークと経験ネットワークの再構築において, 体系的に精度を向上することを示した。
  論文  参考訳（メタデータ） (2024-05-02T05:35:09Z)
• Rotation Equivariant Proximal Operator for Deep Unfolding Methods in Image Restoration [62.41329042683779]
  本稿では, 回転対称性を組み込んだ高精度な回転同変近位ネットワークを提案する。 本研究は, 回転対称性の先行を深く展開する枠組みに効果的に組み込む, 高精度な回転同変近位ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-12-25T11:53:06Z)
• On generalization bounds for deep networks based on loss surface implicit regularization [5.68558935178946]
  現代のディープニューラルネットワークは、多くのパラメータにもかかわらずよく一般化されている。 現在のディープニューラルネットワークは、多くのパラメータが古典的な統計的学習理論と矛盾するにもかかわらず、よく一般化されている。
  論文  参考訳（メタデータ） (2022-01-12T16:41:34Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• From deep to Shallow: Equivalent Forms of Deep Networks in Reproducing Kernel Krein Space and Indefinite Support Vector Machines [63.011641517977644]
  ディープネットワークを等価な(不確定な)カーネルマシンに変換します。 次に、この変換がキャパシティ制御および一様収束に与える影響について検討する。 最後に、平坦表現の空間性について解析し、平坦な重みが(効果的に) 0p1 で正規化された Lp-"ノルム" であることが示される。
  論文  参考訳（メタデータ） (2020-07-15T03:21:35Z)
• Directional convergence and alignment in deep learning [38.73942298289583]
  交差エントロピーと関連する分類損失の最小化は無限大であるが, ネットワーク重みは勾配流により方向収束することを示した。 この証明は、ReLU、最大プール、線形および畳み込み層を許容する深い均質ネットワークに対して成り立つ。
  論文  参考訳（メタデータ） (2020-06-11T17:50:11Z)
• Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
  我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。 正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。 ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
  論文  参考訳（メタデータ） (2020-02-22T21:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。