論文の概要: Pointwise Generalization in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2605.18598v1
• Date: Mon, 18 May 2026 16:09:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:50.002519
• Title: Pointwise Generalization in Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークにおけるポイントワイズ一般化
• Authors: Shaojie Li, Yunbei Xu,
• Abstract要約: 深層ネットワークのトラクタビリティを説明する構造特性と数学的原理を同定する。 深層ネットワークは数学的に計算可能であり,その一般化はポイントワイズ,特徴スペクトル認識複雑性によって明確に説明できることを示す。
• 参考スコア（独自算出の注目度）: 24.565019622696664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the fundamental question of why deep neural networks generalize by establishing a pointwise generalization theory for fully connected networks. This framework resolves long-standing barriers to characterizing the rich nonlinear feature-learning regime and builds a new statistical foundation for representation learning. For each trained model, we characterize the hypothesis via a pointwise Riemannian Dimension, derived from the eigenvalues of the learned feature representations across layers. This establishes a principled framework for deriving hypothesis-dependent, representation-aware generalization bounds. These bounds offer a systematic upgrade over approaches based on model size, products of norms, and infinite-width linearizations, yielding guarantees that are orders of magnitude tighter in both theory and experiment. Analytically, we identify the structural properties and mathematical principles that explain the tractability of deep networks. Empirically, the pointwise Riemannian Dimension exhibits substantial feature compression, decreases with increased over-parameterization, and captures the implicit bias of optimizers. Taken together, our results indicate that deep networks are mathematically tractable in practical regimes and that their generalization is sharply explained by pointwise, feature-spectrum-aware complexity.
• Abstract（参考訳）: 完全連結ネットワークに対するポイントワイズ一般化理論を確立することにより、なぜディープニューラルネットワークが一般化されるのかという根本的な問題に対処する。 このフレームワークは、リッチな非線形特徴学習体制を特徴付けるための長年にわたる障壁を解消し、表現学習のための新しい統計基盤を構築する。 訓練された各モデルに対して、学習された特徴表現の層間の固有値から導かれる点ワイズリーマン次元を用いて仮説を特徴づける。 これにより、仮説に依存した表現対応の一般化境界を導出するための原則的枠組みが確立される。 これらの境界は、モデルサイズ、ノルムの積、無限幅線型化に基づくアプローチに対する体系的なアップグレードを提供し、理論と実験の両方において桁違いに厳密な保証を与える。 解析的に、深層ネットワークのトラクタビリティを説明する構造特性と数学的原理を同定する。 経験的に、リーマン次元は実質的な特徴圧縮を示し、過パラメータ化の増加とともに減少し、オプティマイザの暗黙のバイアスを捉えている。 この結果から,深層ネットワークは実用的状況下で数学的に計算可能であり,その一般化はポイントワイズ,特徴スペクトル認識複雑性によって明確に説明できることを示した。

関連論文リスト

• The Inductive Bias of Convolutional Neural Networks: Locality and Weight Sharing Reshape Implicit Regularization [57.37943479039033]
  本研究では,勾配降下における安定性現象によって引き起こされる暗黙の正則化に,アーキテクチャ的帰納バイアスがどう影響するかを考察する。 局所性と重量共有が根本的に変化していることが示されています。
  論文  参考訳（メタデータ） (2026-03-05T04:50:51Z)
• Conjugate Learning Theory: Uncovering the Mechanisms of Trainability and Generalization in Deep Neural Networks [0.0]
  凸共役双対性に基づく共役学習理論フレームワークを開発し,この学習性特性を特徴付ける。 我々は,ミニバッチ降下(SGD)による深層ニューラルネットワーク(DNN)のトレーニングが,経験的リスクのグローバルな最適化を実現することを実証した。 条件付き一般化エントロピー測度に基づく一般化誤差に関する決定論的および確率的境界を導出する。
  論文  参考訳（メタデータ） (2026-02-18T04:26:55Z)
• Towards A Unified PAC-Bayesian Framework for Norm-based Generalization Bounds [63.47271262149291]
  PAC-Bayesianノルムに基づく一般化のための統一的なフレームワークを提案する。 提案手法の鍵となるのは、構造的重み摂動に関してネットワーク出力を定量化する感度行列である。 我々は、いくつかの既存のPAC-ベイジアン結果を特殊ケースとして回復する一般化境界の族を導出する。
  論文  参考訳（メタデータ） (2026-01-13T00:42:22Z)
• On residual network depth [7.233401307469166]
  ネットワーク深度の増加は,暗黙のアンサンブルの大きさの拡大と数学的に等価であることを示す。 我々の研究は、ネットワーク固有の機能構造から導かれた最初の説明を提供する。 さらに、このスケーリングは、モデルの複雑さを暗黙的に規則化するキャパシティコントロールとして機能することを示す。
  論文  参考訳（メタデータ） (2025-10-03T19:48:48Z)
• How You Start Matters for Generalization [26.74340246715699]
  ニューラルネットワークの一般化は、その初期化に強く結びついていることが示される。 議論を呼んでいるフラットミニマ予想に反論する。
  論文  参考訳（メタデータ） (2022-06-17T05:30:56Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。