論文の概要: Critical Organization of Deep Neural Networks, and p-Adic Statistical Field Theories

• arxiv url: http://arxiv.org/abs/2601.19070v1
• Date: Tue, 27 Jan 2026 01:13:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-28 15:26:51.112268
• Title: Critical Organization of Deep Neural Networks, and p-Adic Statistical Field Theories
• Title（参考訳）: 深部ニューラルネットワークの臨界構成とp進統計場理論
• Authors: W. A. Zúñiga-Galindo,
• Abstract要約: 我々はディープニューラルネットワーク(DNNS)とリカレントニューラルネットワーク(RNN)の熱力学限界を厳密に研究する。 このようなネットワークはパラメータ空間の特定の領域に一意な状態を持ち、パラメータに連続的に依存することを示す。 そして、重要な組織はパラメータ空間における分岐であり、そこではネットワークが一意の状態から無限に多くの状態に遷移する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We rigorously study the thermodynamic limit of deep neural networks (DNNS) and recurrent neural networks (RNNs), assuming that the activation functions are sigmoids. A thermodynamic limit is a continuous neural network, where the neurons form a continuous space with infinitely many points. We show that such a network admits a unique state in a certain region of the parameter space, which depends continuously on the parameters. This state breaks into an infinite number of states outside the mentioned region of parameter space. Then, the critical organization is a bifurcation in the parameter space, where a network transitions from a unique state to infinitely many states. We use p-adic integers to codify hierarchical structures. Indeed, we present an algorithm that recasts the hierarchical topologies used in DNNs and RNNs as p-adic tree-like structures. In this framework, the hierarchical and the critical organizations are connected. We study rigorously the critical organization of a toy model, a hierarchical edge detector for grayscale images based on p-adic cellular neural networks. The critical organization of such a network can be described as a strange attractor. In the second part, we study random versions of DNNs and RNNs. In this case, the network parameters are generalized Gaussian random variables in a space of quadratic integrable functions. We compute the probability distribution of the output given the input, in the infinite-width case. We show that it admits a power-type expansion, where the constant term is a Gaussian distribution.
• Abstract（参考訳）: 我々は,活性化関数がシグモイドであることを前提として,ディープニューラルネットワーク(DNNS)とリカレントニューラルネットワーク(RNN)の熱力学限界を厳密に研究した。 熱力学リミット(英: thermodynamic limit)は、ニューロンが無限に多くの点を持つ連続空間を形成する連続ニューラルネットワークである。 このようなネットワークはパラメータ空間の特定の領域に一意な状態を持ち、パラメータに連続的に依存することを示す。 この状態は、パラメータ空間の領域の外にある無限個の状態に分裂する。 そして、重要な組織はパラメータ空間における分岐であり、そこではネットワークが一意の状態から無限に多くの状態に遷移する。 p進整数を用いて階層構造を成す。 実際、DNNやRNNで使われている階層的トポロジーをp進木のような構造として再キャストするアルゴリズムを提案する。 このフレームワークでは、階層的な組織と重要な組織が結びついています。 筆者らは,p-adic 細胞ニューラルネットワークに基づく画像の階層的エッジ検出器である玩具モデルの臨界構造について,厳密に研究した。 このようなネットワークの批判的な組織は、奇妙な誘引者として説明できる。 第2部では,DNNとRNNのランダムバージョンについて検討する。 この場合、ネットワークパラメータは二次可積分函数の空間における一般化されたガウス確率変数である。 入力された出力の確率分布を無限幅の場合で計算する。 定数項がガウス分布であるようなパワー型展開が認められることを示す。

関連論文リスト

• A Unified Representation of Neural Networks Architectures [2.7018389296091505]
  本稿では,各隠蔽層内のニューロン数と隠蔽層数とが無限大となる傾向にある場合,ニューラルネットワークアーキテクチャ(NN)の制限事例について考察する。 既存の有限次元および無限次元NNのほとんどが、DiPaNet表現とホモジェナイゼーション/離散化を介して関連していることを示す。
  論文  参考訳（メタデータ） (2025-12-19T14:01:50Z)
• Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
  本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。 また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。 この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
  論文  参考訳（メタデータ） (2024-05-24T06:30:36Z)
• Analysis of the Geometric Structure of Neural Networks and Neural ODEs via Morse Functions [0.0]
  本研究では,スカラー出力を持つ有限深度ニューラルネットワークと無限深度ニューラルネットワークの入力出力ダイナミクスについて検討する。 ネットワークの特定の構造によって、入力出力マップは臨界点の存在と規則性に関して異なる特性を持つことを示す。
  論文  参考訳（メタデータ） (2024-05-15T14:00:48Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Universal Approximation and the Topological Neural Network [0.0]
  トポロジカルニューラルネットワーク(TNN)は、通常の有限次元空間の代わりにチコノフ位相空間からデータを取得する。 また、ボレル測度をデータとする分布ニューラルネットワーク(DNN)も導入する。
  論文  参考訳（メタデータ） (2023-05-26T05:28:10Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。