論文の概要: Criticality in Neural Network Function Space through Wilsonian Fixed Points and Finite-Width Corrections
- arxiv url: http://arxiv.org/abs/2608.20403v1
- Date: Mon, 03 Aug 2026 22:56:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-31 05:49:59.215914
- Title: Criticality in Neural Network Function Space through Wilsonian Fixed Points and Finite-Width Corrections
- Title（参考訳）: Wilsonian Fixed Points and Finite-Width Corrections によるニューラルネットワーク関数空間の臨界性
- Abstract要約: 我々は、ニューラルネットワーク量子場理論対応における臨界性のウィルソン解釈を開発する。
有限のニューラルネットワークの臨界構造は有限幅効果によって与えられる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks can be studied not only as parameterized computational models but also as probability distributions over functions. In this paper we develop a Wilsonian interpretation of criticality in the neural network-quantum field theory correspondence, treating the infinite width Gaussian-process limit as a free field fixed point and finite width corrections as perturbations that create non-Gaussian interactions. In this way, we do not see the departure from infinite width as a small approximation error but as the process by which interaction, complexity, expressivity and phase-like behaviour enter neural network function space. Width, depth, activation nonlinearity, initialization variance, and training dynamics are considered as control parameters that change the effective action of the network ensemble. The critical regime is when the higher-order connected correlation functions become non-negligible, and when the finite width operators become relevant or marginal scaling factors, and when the function distribution becomes sensitive to scale-dependent structure. There we can view overparameterization as suppressing a relationship of interacting terms and we find that the critical structure of finite neural networks is given by finite-width effects. This framework is a theoretical basis for studying trainability, generalization, and architectural universality of neural network functions through Wilsonian fixed points, perturbations, and critical surfaces.
- Abstract（参考訳）: ニューラルネットワークはパラメータ化された計算モデルとしてだけでなく、関数上の確率分布としても研究できる。
本稿では,ニューラルネットワーク-量子場理論対応における臨界性のウィルソン解釈を開発し,無限幅ガウス過程極限を自由場固定点として扱い,有限幅補正を非ガウス相互作用を生み出す摂動として扱う。
このようにして、無限幅からの離脱は小さな近似誤差としてではなく、相互作用、複雑性、表現性、フェーズライクな振る舞いがニューラルネットワーク関数空間に入る過程として見なされる。
ネットワークアンサンブルの有効動作を変化させる制御パラメータとして、幅、深さ、アクティベーション非線形性、初期化分散、およびトレーニングダイナミクスが考えられる。
臨界状態は、高次連結相関関数が非無視となり、有限幅作用素が関連性または限界スケーリング因子となるとき、および関数分布がスケール依存構造に敏感になるときである。
ここでは、過パラメータ化を相互作用項の関係を抑制するものとして見ることができ、有限のニューラルネットワークの臨界構造が有限幅効果によって与えられることが分かる。
この枠組みは、ウィルソンの固定点、摂動、臨界面を通じて、ニューラルネットワーク関数の訓練可能性、一般化、およびアーキテクチャ的普遍性を研究する理論的基礎である。
関連論文リスト
- Dense Neural Networks are not Universal Approximators [53.27010448621372]
ニューラルネットワークは任意の連続関数の普遍性を持たないことを示す。
ReLUニューラルネットワークは、重みと入出力次元の自然な制約を受ける。
論文 参考訳（メタデータ） (2026-02-07T16:52:38Z) - Approximation properties of neural ODEs [5.828989070109041]
連続関数空間における浅部ニューラルネットワークの普遍近似特性(UAP)を証明した。
特に、ニューラルネットワークODEのフローマップのリプシッツ定数と重みのノルムを制約し、ネットワークの安定性を高める。
論文 参考訳（メタデータ） (2025-03-19T21:11:28Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Approximating nonlinear functions with latent boundaries in low-rank
excitatory-inhibitory spiking networks [5.955727366271805]
スパイクに基づく興奮抑制スパイクネットワークのための新しいフレームワークを考案した。
本研究は,生体スパイクに基づく計算の力学的理解の出発点となるスパイクネットワークの新しい視点を提案する。
論文 参考訳（メタデータ） (2023-07-18T15:17:00Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Neural Networks and Quantum Field Theory [0.0]
我々は、ウィルソン有効場理論の観点から、ニューラルネットワークの理論的理解を提案する。
この対応は、多くのニューラルネットワークがガウス過程から引き出されるという事実に依存している。
論文 参考訳（メタデータ） (2020-08-19T18:00:06Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Generalization bound of globally optimal non-convex neural network
training: Transportation map estimation by infinite dimensional Langevin
dynamics [50.83356836818667]
本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。
ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
論文 参考訳（メタデータ） (2020-07-11T18:19:50Z) - Scalable Partial Explainability in Neural Networks via Flexible
Activation Functions [13.71739091287644]
ディープニューラルネットワーク(NN)によって与えられる高次元の特徴と決定は、そのメカニズムを公開するために新しいアルゴリズムと方法を必要とする。
現在の最先端のNN解釈手法は、NN構造や操作自体よりも、NN出力と入力との直接的な関係に重点を置いている。
本稿では,スケーラブルなトポロジの下でのアクティベーション関数(AF)の役割を象徴的に説明することにより,部分的に説明可能な学習モデルを実現する。
論文 参考訳（メタデータ） (2020-06-10T20:30:15Z) - Deep Neural Networks with Trainable Activations and Controlled Lipschitz
Constant [26.22495169129119]
本稿では,深層ニューラルネットワークの活性化関数を学習するための変分フレームワークを提案する。
我々の目的は、リプシッツ定数の上界を制御しながら、ネットワークの容量を増加させることである。
提案手法を標準ReLUネットワークとその変種であるPRELUとLeakyReLUと比較する。
論文 参考訳（メタデータ） (2020-01-17T12:32:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。