論文の概要: Neural Expansion: A Unified Mechanism for How Deep Neural Networks Generalize

• arxiv url: http://arxiv.org/abs/2610.23716v1
• Date: Fri, 16 Oct 2026 16:38:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:08.023535
• Title: Neural Expansion: A Unified Mechanism for How Deep Neural Networks Generalize
• Title（参考訳）: ニューラル展開:ディープニューラルネットワークの一般化のための統一メカニズム
• Abstract要約: 入力空間における方向選択的光線カバレッジの拡大により一般化を特徴付ける統一的な幾何学的枠組みを導入する。 我々の経験的研究により、トレーニングは、特にジャコビアン特異値の低い方向に沿って、線被曝の進行的拡大につながることが明らかとなった。 このメカニズムは、正しく分類されたテストインプット、敵対的な例、さらには誤ってラベル付けされたり配布外のサンプルさえも説明するのに役立ちます。
• 参考スコア（独自算出の注目度）: 1.266832699428407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks demonstrate remarkable generalization despite being highly over-parameterized, challenging traditional statistical learning theories. While several theoretical paradigms such as margin-based bounds, PAC-Bayesian analyses, and neural tangent kernels provide global explanations, they often lack mechanistic insight into how generalization emerges from training dynamics. We introduce Neural Expansion, a unified geometric framework that characterizes generalization through the expansion of directionally-selective ray coverage in the input space. Using Generalization Intervals (GIs), we quantify direction-specific regions around training samples where the model's predictions remain stable. Our extensive empirical studies across diverse architectures and datasets reveal that training leads to progressive expansion of ray coverage, particularly along directions with low Jacobian singular values. This mechanism helps explain a large fraction of correctly classified test inputs, adversarial examples, and even mislabeled or out-of-distribution samples through the geometry of ray coverage rather than instance-level memorization. By connecting input-space curvature to predictive behavior, our framework provides a mechanistic foundation that complements existing global theories of deep learning.
• Abstract（参考訳）: ディープニューラルネットワークは、高度にパラメータ化され、従来の統計的学習理論に挑戦するにもかかわらず、顕著な一般化を示している。 マージンベース境界、PAC-ベイズ解析、ニューラル・タンジェント・カーネルといったいくつかの理論的パラダイムは、大域的な説明を提供するが、それらはしばしば、訓練力学から一般化がどのように現れるかについての機械的な洞察を欠いている。 本稿では,入力空間における方向選択的線カバレッジの拡大を通じて一般化を特徴付ける統一幾何フレームワークであるNeural Expansionを紹介する。 一般化区間(GI)を用いて,モデルの予測が安定なトレーニングサンプル周辺の方向特異的領域を定量化する。 多様なアーキテクチャやデータセットにまたがる広範な実証研究により、トレーニングは、特にジャコビアン特異値の低い方向に沿って、光線カバレッジを進行的に拡大させることが明らかとなった。 このメカニズムは、正しく分類されたテストインプット、敵例、さらには、インスタンスレベルの記憶ではなく、レイカバレッジの幾何学を通して、誤ってラベル付けされた、あるいは配布されていないサンプルさえも説明するのに役立ちます。 入力空間の曲率を予測行動に結びつけることにより、我々のフレームワークは、既存のディープラーニングのグローバルな理論を補完する機械的基礎を提供する。

関連論文リスト

• Pointwise Generalization in Deep Neural Networks [24.565019622696664]
  深層ネットワークのトラクタビリティを説明する構造特性と数学的原理を同定する。 深層ネットワークは数学的に計算可能であり,その一般化はポイントワイズ,特徴スペクトル認識複雑性によって明確に説明できることを示す。
  論文  参考訳（メタデータ） (2026-05-18T16:09:06Z)
• Towards A Unified PAC-Bayesian Framework for Norm-based Generalization Bounds [63.47271262149291]
  PAC-Bayesianノルムに基づく一般化のための統一的なフレームワークを提案する。 提案手法の鍵となるのは、構造的重み摂動に関してネットワーク出力を定量化する感度行列である。 我々は、いくつかの既存のPAC-ベイジアン結果を特殊ケースとして回復する一般化境界の族を導出する。
  論文  参考訳（メタデータ） (2026-01-13T00:42:22Z)
• Gaussian Universality in Neural Network Dynamics with Generalized Structured Input Distributions [2.3020018305241337]
  ガウス混合体としてモデル化された入力に基づいて学習したディープラーニングシステムの振る舞いを分析し,より汎用的な入力をシミュレートする。 特定の標準化スキームの下では、入力データがより複雑あるいは実世界の分布に従う場合でも、ディープラーニングモデルはガウス的な設定行動に収束する。
  論文  参考訳（メタデータ） (2024-05-01T17:10:55Z)
• Revealing Decurve Flows for Generalized Graph Propagation [108.80758541147418]
  本研究は,有向グラフと重み付きグラフを用いて,m文を一般化した伝播を定義することによって,従来のメッセージパッシング(中心からグラフ学習)の限界に対処する。 この分野ではじめて、データセットにおける学習された伝播パターンの予備的な探索を含む。
  論文  参考訳（メタデータ） (2024-02-13T14:13:17Z)
• TANGOS: Regularizing Tabular Neural Networks through Gradient Orthogonalization and Specialization [69.80141512683254]
  TANGOS(Tbular Neural Gradient Orthogonalization and gradient)を紹介する。 TANGOSは、潜在ユニット属性上に構築された表の設定を正規化するための新しいフレームワークである。 提案手法は,他の一般的な正規化手法よりも優れ,サンプル外一般化性能の向上につながることを実証する。
  論文  参考訳（メタデータ） (2023-03-09T18:57:13Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)
• A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
  本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。 CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。 我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
  論文  参考訳（メタデータ） (2020-06-30T14:46:08Z)
• Topologically Densified Distributions [25.140319008330167]
  オーバーパラメータ化ニューラルネットワークを用いた小さなサンプルサイズ学習の文脈における正規化について検討する。 我々は、その空間で誘導される確率測度から引き出されたサンプルに位相的制約を課す。 このことは、トレーニングインスタンスの表現に関する質量濃度の影響を確実に引き起こす。
  論文  参考訳（メタデータ） (2020-02-12T05:25:15Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。