論文の概要: The Continuum Limit of the Deep Linear Network

• arxiv url: http://arxiv.org/abs/2611.00503v1
• Date: Sat, 31 Oct 2026 00:48:39 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:01:24.487738
• Title: The Continuum Limit of the Deep Linear Network
• Title（参考訳）: ディープリニアネットワークの連続限界
• Abstract要約: Deep Linear Network (DLN) は、活性化関数がアイデンティティ、バイアスベクトルがゼロベクトルである多層パーセプトロン(MLP)の単純なバージョンである。 可算連続極限はトーラス上のヤン・ミルズ方程式の次元的に還元されたバージョンであり、無限深度DLNの予期せぬ幾何学的解釈を明らかにする。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The Deep Linear Network (DLN) is a simple version of a Multilayer Perceptron (MLP) in which the activation function is the identity and the bias vector is the zero vector. We examine the behavior of the model when the number of weight matrices, which is finite in the original model, goes to infinity. We show that a plausible continuum limit is a dimensionally reduced version of the Yang-Mills equation on the torus, revealing an unexpected geometric interpretation of infinite-depth DLNs. While we do not prove this rigorously, it is a very pretty calculation. It also gives some insight into several features of the construction. We note that the choices of boundary conditions on the ends of the discrete series survive better in the continuum limit. Also, the regularizing functional which uses the moment map survives nicely in the continuum limit, whereas the regularizing functional using the size of approximating terms has no sensible limit. This surely is useful information for the choices we make in the finite-dimensional theory, and might also be useful in the more complicated MLP setting.
• Abstract（参考訳）: Deep Linear Network (DLN) は、活性化関数がアイデンティティ、バイアスベクトルがゼロベクトルである多層パーセプトロン(MLP)の単純なバージョンである。 初期モデルにおいて有限である重み行列の数が無限大となるときのモデルの挙動について検討する。 可算連続極限はトーラス上のヤン・ミルズ方程式の次元的に還元されたバージョンであり、無限深度DLNの予期せぬ幾何学的解釈を明らかにする。 私たちはこれを厳格に証明していませんが、非常にきれいな計算です。 また、建設のいくつかの特徴についていくつかの洞察を与えている。 離散級数の終点における境界条件の選択は連続極限においてより良く残っていることに留意する。 また、モーメント写像を用いた正則化関数は連続極限において良好に残るが、近似項のサイズを用いた正則化関数は意味のある極限を持たない。 これは有限次元理論における選択に有用な情報であり、さらに複雑な MLP の設定にも役立つかもしれない。

関連論文リスト

• Discretization and Statistical Consistency of Functional Flow Matching [0.0]
  有限ランク再構成の強い一貫した列に対して、有限条件速度目標の強い$L2$収束を証明した。 学習フローに対して、集団重ね合わせ経路に直接結合すると、終端ワッサーシュタイン境界が得られる。
  論文  参考訳（メタデータ） (2026-08-05T07:05:47Z)
• How Deep Are Deep GPs, Really? A Sharp Threshold and a Non-Gaussian Limit for Compositional GPs [48.096969031315744]
  以前の研究により、RBFカーネルと特定の帯域幅$r$に対して、前者は限界で縮退することがわかった。 しきい値以下$r$の場合、r_c(d)$ は制限分布 $_barZ$ に収束する。
  論文  参考訳（メタデータ） (2026-06-06T15:12:43Z)
• Uniform Laws of Large Numbers in Product Spaces [60.22626971185653]
  カルテシアン積空間における一様収束現象について検討する。 大数の一様法則が事象の族に対して成り立つことは、その族の線型VC次元が有限であるときに限る。
  論文  参考訳（メタデータ） (2026-03-25T16:36:09Z)
• ResNets of All Shapes and Sizes: Convergence of Training Dynamics in the Large-scale Limit [11.482815450838887]
  我々は、残留ニューラルネットワーク(ResNets)のトレーニング力学を、その合同無限深さL、隠れ幅M、埋め込み次元D限界に収束させる。 この研究は、[Chi25]で開始されたプログラムを完了し、固定埋め込み次元Dに対して、トレーニングダイナミクスが平均ODEモデルに収束することを証明した。
  論文  参考訳（メタデータ） (2026-03-18T18:07:02Z)
• Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
  NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。 本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
  論文  参考訳（メタデータ） (2025-12-31T12:08:29Z)
• Horizon-Free Regret for Linear Markov Decision Processes [92.02082223856479]
  最近の一連の研究は、強化学習における残念な境界が(ほぼ)計画的地平から独立していることを示している。 我々は、人気のある線形マルコフ決定過程(MDP)設定に対して、最初の地平面自由境界を与える。 遷移モデルを明示的に推定し、不均一な値関数を計算する先行研究とは対照的に、直接値関数と信頼集合を推定する。
  論文  参考訳（メタデータ） (2024-03-15T23:50:58Z)
• Pseudonorm Approachability and Applications to Regret Minimization [73.54127663296906]
  我々は、高次元 $ell_infty$-approachability 問題を、低次元の擬ノルムアプローチ可能性問題に変換する。 我々は、$ell$や他のノルムに対するアプローチ可能性に関する以前の研究に類似した疑似ノルムアプローチ可能性のアルゴリズム理論を開発する。
  論文  参考訳（メタデータ） (2023-02-03T03:19:14Z)
• On the infinite-depth limit of finite-width neural networks [3.8073142980733]
  ランダムなガウス重みを持つ有限幅残留ニューラルネットワークの無限深さ限界について検討する。 幅を固定し、深さを無限大にすることで、プレアクティベーションのベクトルは分布中にゼロドリフト拡散過程に収束する。 無限深度極限は活性化関数の選択によって異なる分布が得られることを示す。
  論文  参考訳（メタデータ） (2022-10-03T02:35:23Z)
• The Neural Covariance SDE: Shaped Infinite Depth-and-Width Networks at Initialization [13.872374586700767]
  近年の研究では、ネットワークの深さが大きくなるにつれて活性化関数が形成されることが示されている。 非自明な極限に達するのに必要な活性化関数の正確なスケーリングを特定する。 アクティベーション関数に基づいて,大規模なネットワークの標準を爆発・消滅するためのif-and-only-if条件を回復する。
  論文  参考訳（メタデータ） (2022-06-06T17:45:07Z)
• Minimax Optimal Quantization of Linear Models: Information-Theoretic Limits and Efficient Algorithms [59.724977092582535]
  測定から学習した線形モデルの定量化の問題を考える。 この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。 本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-02-23T02:39:04Z)
• On Sharpness of Error Bounds for Multivariate Neural Network Approximation [0.0]
  この論文は、このようなリッジ関数の和による最良の非線形近似を扱う。 誤差境界は滑らかさのモジュライで表される。
  論文  参考訳（メタデータ） (2020-04-05T14:00:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。