論文の概要: Born Discrete, Made Smooth: Variational Formulation of Shallow Neural Networks

• arxiv url: http://arxiv.org/abs/2607.02003v1
• Date: Thu, 02 Jul 2026 10:39:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 19:45:08.791866
• Title: Born Discrete, Made Smooth: Variational Formulation of Shallow Neural Networks
• Title（参考訳）: 平滑な生み出した離散性:浅部ニューラルネットワークの変分定式化
• Abstract要約: ニューラルネットワークの最適密度を証明するために,適切に設定されたサロゲート制御が利用できることを示す。 これにより, 1 つの線形系を解くことで, 最適密度が得られることを示すことができる。
• 参考スコア（独自算出の注目度）: 1.5749416770494706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although neural networks are remarkably effective, their underlying optimization principles remain theoretically elusive, often characterized by non-convex landscapes and stochastic heuristics. In this work, we propose a paradigm shift by replacing the discrete training problem of shallow neural networks with a well-posed continuum variational surrogate. We identify a family of $λ$-convex functionals over parameter densities in weighted Sobolev spaces and prove that these variational problems are globally well-posed, stable, and exhibit unexpected almost $C^3$ regularity. Unlike existing Wasserstein-based or Mean-Field approaches, which often face limited regularity and discretization challenges, our formulation provides direct access to elliptic regularity and convex analysis. This allows us to prove that the optimal parameter density can be obtained by solving a single linear system, bypassing iterative optimization entirely. We establish explicit generalization error controls at a rate of $1/α$ relative to the regularization parameter, and prove that finite-width networks of size $N$ achieve the continuum optimum at an $O(1/N)$ rate. This perspective bridges the gap between the Neural Tangent Kernel (NTK) and feature-learning regimes, providing a principled framework for understanding over-parameterization through the lens of variational calculus.
• Abstract（参考訳）: ニューラルネットワークは非常に効果的であるが、その基礎となる最適化原理は理論的に解明され、しばしば非凸地形と確率的ヒューリスティックによって特徴づけられる。 本研究では,浅層ニューラルネットワークの離散的学習問題を,連続的変動サロゲートに置き換えることにより,パラダイムシフトを提案する。 重み付きソボレフ空間におけるパラメータ密度上の$λ$-凸函数の族を同定し、これらの変分問題は全世界的によく分布し、安定であり、予想外のほぼ$C^3$正規性を示すことを証明する。 制限された正則性や離散化の問題に直面する既存のワッサーシュタイン法や平均場法とは異なり、我々の定式化は楕円正則性や凸解析への直接アクセスを提供する。 これにより、反復最適化を完全に回避して、一つの線形系を解くことで最適なパラメータ密度が得られることを示すことができる。 正規化パラメータに対して1/α$の速度で明示的な一般化誤差制御を確立し、$N$の有限幅ネットワークが$O(1/N)$レートで連続体最適化を達成することを証明した。 この視点は、ニューラル・タンジェント・カーネル(NTK)と特徴学習体制のギャップを埋め、変動計算のレンズを通して過度なパラメータ化を理解するための原則的な枠組みを提供する。

関連論文リスト

• Generalization Bounds of Stochastic Gradient Descent in Homogeneous Neural Networks [29.858071115963472]
  本稿では、ReReReアクティベートを伴う完全連結ニューラルネットワークとニューラル畳み込みニューラルネットワークを含む同種ネットワークについて述べる。 この発見は、ReReReアクティベートを備えた完全連結ニューラルネットワークを含む同質ネットワークとして、広く適用可能である。
  論文  参考訳（メタデータ） (2026-02-26T12:26:32Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Smoothness Adaptivity in Constant-Depth Neural Networks: Optimal Rates via Smooth Activations [11.1057367593811]
  ソボレフ空間における学習関数を円滑に活性化するニューラルネットワークの近似と統計的性質について検討した。 本研究では,スムーズなアクティベーションを備えた定数深度ネットワークが,スムーズな適応性を実現することを証明した。 本稿では,ソボレフ関数クラスに対する最適速度を達成するための基本的なメカニズムとして,活性化の滑らかさを同定する。
  論文  参考訳（メタデータ） (2026-02-23T10:38:12Z)
• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• A multiobjective continuation method to compute the regularization path of deep neural networks [1.3654846342364308]
  数値効率を保証し、モデルの解釈性を改善し、堅牢性を向上させるため、ディープニューラルネットワーク(DNN)では、スパシティは高い特徴である。 本稿では,数百万のパラメータを持つ高次元勾配に対して,上述の目的に対するスパースフロント全体を極めて効率的な方法で実現するアルゴリズムを提案する。 正規化パスの知識がネットワークパラメトリゼーションを十分に一般化することを示す。
  論文  参考訳（メタデータ） (2023-08-23T10:08:52Z)
• A Robustness Analysis of Blind Source Separation [91.3755431537592]
  ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。 このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。 定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-17T16:30:51Z)
• Implicit Bias of MSE Gradient Optimization in Underparameterized Neural Networks [0.0]
  勾配流による平均二乗誤差の最適化において,関数空間におけるニューラルネットワークのダイナミクスについて検討する。 ニューラルタンジェントカーネル(NTK)により決定された積分作用素$T_Kinfty$の固有関数をネットワークが学習することを示す。 減衰偏差は2乗誤差を最適化する際の力学の単純かつ統一的な視点を与えると結論付けている。
  論文  参考訳（メタデータ） (2022-01-12T23:28:41Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)
• Loss landscapes and optimization in over-parameterized non-linear systems and neural networks [20.44438519046223]
  広域ニューラルネットワークがPL$*$条件を満たすことを示し、(S)GD収束を大域最小値に説明する。 広域ニューラルネットワークがPL$*$条件を満たすことを示し、(S)GD収束を大域最小値に説明する。
  論文  参考訳（メタデータ） (2020-02-29T17:18:28Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。