論文の概要: On Interpolation Formulas Describing Neural Network Generalization

• arxiv url: http://arxiv.org/abs/2603.13872v1
• Date: Sat, 14 Mar 2026 10:03:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.457152
• Title: On Interpolation Formulas Describing Neural Network Generalization
• Title（参考訳）: ニューラルネットワークの一般化を記述した補間式について
• Authors: Jin Guo, Roy Y. He, Jean-Michel Morel,
• Abstract要約: 連続時間拡散により決定論的バージョンを拡張する勾配カーネルを導入する。 トレーニングサンプルは、損失依存の重み付けと軌道に沿った勾配アライメントを通じて寄与することを明らかにする。 次に、勾配カーネルによって誘導される積分作用素の零空間に一般化誤差をリンクする。
• 参考スコア（独自算出の注目度）: 8.154667543705687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In 2020 Domingos introduced an interpolation formula valid for "every model trained by gradient descent". He concluded that such models behave approximately as kernel machines. In this work, we extend the Domingos formula to stochastic training. We introduce a stochastic gradient kernel that extends the deterministic version via a continuous-time diffusion approximation. We prove stochastic Domingos theorems and show that the expected network output admits a kernel-machine representation with optimizer-specific weighting. It reveals that training samples contribute through loss-dependent weights and gradient alignment along the training trajectory. We then link the generalization error to the null space of the integral operator induced by the stochastic gradient kernel. The same path-kernel viewpoint provides a unified interpretation of diffusion models and GANs: diffusion induces stage-wise, noise-localized corrections, whereas GANs induce distribution-guided corrections shaped by discriminator geometry. We visualize the evolution of implicit kernels during optimization and quantify out-of-distribution behaviors through a series of numerical experiments. Our results support a feature-space memory view of learning: training stores data-dependent information in an evolving tangent feature geometry, and predictions at test time arise from kernel-weighted retrieval and aggregation of these stored features, with generalization governed by alignment between test points and the learned feature memory.
• Abstract（参考訳）: 2020年、ドミンゴスは「勾配降下によって訓練された全てのモデル」に有効な補間公式を導入した。 彼はそのようなモデルは概してカーネルマシンとして振る舞うと結論付けた。 本研究では,ドミンゴの公式を確率的訓練に拡張する。 連続時間拡散近似を用いて決定論的バージョンを拡張する確率勾配カーネルを導入する。 確率論的ドミンゴスの定理を証明し、期待されるネットワーク出力が最適化器固有の重み付けを持つカーネルマシン表現を許容することを示す。 トレーニングサンプルは、損失依存の重み付けと、トレーニング軌跡に沿った勾配アライメントを通じて寄与することを明らかにする。 次に、確率勾配核によって誘導される積分作用素の零空間に一般化誤差をリンクする。 同じ経路カーネル視点は拡散モデルとGANを統一的に解釈する:拡散は段階的に雑音局所化補正を誘導するが、GANは識別器幾何学によって形成される分布誘導補正を誘導する。 我々は最適化中の暗黙のカーネルの進化を可視化し、一連の数値実験を通して分布外の挙動を定量化する。 トレーニングは、データ依存情報を進化する特異な特徴幾何に格納し、テスト時の予測は、カーネル重み付けされた検索とこれらの記憶された特徴の集約から発生し、テストポイントと学習された特徴メモリのアライメントによって制御される一般化である。

関連論文リスト

• An Analytical Theory of Spectral Bias in the Learning Dynamics of Diffusion Models [29.972063833424215]
  本研究では,拡散モデル学習中に生成した分布がどのように進化するかを理解するための解析的枠組みを開発する。 結果の確率フローODEを統合し、生成した分布の解析式を生成する。
  論文  参考訳（メタデータ） (2025-03-05T05:50:38Z)
• A theory of data variability in Neural Network Bayesian inference [0.70224924046445]
  無限広ネットワークの一般化特性をカバーする場理論形式論を提供する。 入力の統計的性質から一般化特性を導出する。 データ可変性は、(varphi3+varphi4$)-理論を思い起こさせる非ガウス的作用をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-07-31T14:11:32Z)
• Score-based Diffusion Models in Function Space [137.70916238028306]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 この研究は、関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)と呼ばれる数学的に厳密なフレームワークを導入する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
  本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。 分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-02-28T13:01:04Z)
• A Mean-Field Theory for Learning the Sch\"{o}nberg Measure of Radial Basis Functions [13.503048325896174]
  トレーニングサンプルから放射基底関数のシュンベルク積分表現の分布を学習する。 スケーリング限界において、ランゲヴィン粒子の経験的測度が、反射的イオ拡散ドリフト過程の法則に収束することを証明する。
  論文  参考訳（メタデータ） (2020-06-23T21:04:48Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)
• Spectrum Dependent Learning Curves in Kernel Regression and Wide Neural Networks [17.188280334580195]
  トレーニングサンプル数の関数として,カーネル回帰の一般化性能に関する解析式を導出する。 我々の表現は、トレーニングとニューラルカーネル・タンジェント(NTK)によるカーネル回帰の等価性により、広いニューラルネットワークに適用される。 我々は、合成データとMNISTデータセットのシミュレーションを用いて、我々の理論を検証する。
  論文  参考訳（メタデータ） (2020-02-07T00:03:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。