論文の概要: Exact Realization of Deep ReLU Computation in a Microscopic Statistical-Mechanical System

• arxiv url: http://arxiv.org/abs/2609.22965v1
• Date: Sat, 19 Sep 2026 11:31:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.611008
• Title: Exact Realization of Deep ReLU Computation in a Microscopic Statistical-Mechanical System
• Title（参考訳）: 微視的統計的メカニカルシステムにおけるDeep ReLU計算の厳密化
• Abstract要約: 我々は任意のReLUネットワークの正確な統計的・機械的実現を確立する。 本稿では,ReLUネットワークの断片的線形挙動が,顕微鏡システムにおける一階相転移から生じることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the physical origin of the piecewise-linear computation in deep rectified linear unit (ReLU) networks remains a fundamental challenge. Here we establish an exact statistical-mechanical realization of arbitrary ReLU networks. Starting from a microscopic configuration space and its state multiplicities, we construct a partition function without prescribing a neural-network activation function. The resulting system admits equivalent descriptions in terms of cascaded quantum operations with post selection, or fermionic transport model. We rigorously prove that in $β\to+\infty$ limit, the thermodynamic observables of this system exactly reproduce the hidden states, outputs, and loss function of an arbitrary deep ReLU network. Crucially, we demonstrate that the piecewise-linear behavior of the ReLU network emerges from a first-order phase transition in the microscopic system, where the discontinuities precisely coincide with the boundaries of linear regions of ReLU network. This work establishes an exact physical foundation for deep neural computation and provides a novel statistical-mechanical perspective on neural architecture design.
• Abstract（参考訳）: ReLU(Deep rectified linear unit)ネットワークにおけるピースワイズ線形計算の物理的起源を理解することは、依然として根本的な課題である。 ここでは、任意のReLUネットワークの正確な統計力学的実現を確立する。 顕微鏡構成空間とその状態乗法から始め,ニューラルネットワークの活性化関数を規定しない分割関数を構築する。 結果として得られるシステムは、ポストセレクションまたはフェルミオン輸送モデルによるカスケード量子演算の等価な記述を許容する。 我々は、$β\to+\infty$ limit において、この系の熱力学観測値が任意の深部ReLUネットワークの隠れ状態、出力、損失関数を正確に再現できることを厳密に証明する。 重要なことは、ReLUネットワークの片方向線形挙動は、ReLUネットワークの線形領域の境界と正確に一致するような、顕微鏡系における一階位相遷移から生じることを実証する。 この研究は、ディープ・ニューラル・コンピューティングの正確な物理基盤を確立し、ニューラル・アーキテクチャ・デザインに関する新しい統計力学的視点を提供する。

関連論文リスト

• Post-Selection-Free Decoding of Measurement-Induced Area-Law Phases via Neural Networks [5.626168552306134]
  我々は、畳み込みニューラルネットワークと注意機構を組み合わせたニューラルネットワークアーキテクチャを考案し、自明で長距離の絡み合いがあり、対称性に保護された位相を分類する。 定常状態への緩和は、量子状態再構成の必要性を完全に回避し、分類器の精度の急激な収束として現れることを示す。
  論文  参考訳（メタデータ） (2026-04-04T02:34:58Z)
• Deep Delta Learning [91.75868893250662]
  本稿では,標準残差接続を一般化した新しいアーキテクチャであるDeep Delta Learning(DDL)を紹介する。 我々はこの演算子のスペクトル解析を行い、ゲート$(mathbfX)$がアイデンティティマッピング、投影、幾何反射のダイナミックな相互作用を可能にすることを示した。 この統合により、ネットワークは階層的な遷移作用素のスペクトルを明示的に制御することができ、複雑な非単調力学のモデリングを可能にする。
  論文  参考訳（メタデータ） (2026-01-01T18:11:38Z)
• Dissecting a Small Artificial Neural Network [0.0]
  論理排他論理(XOR)ゲートを表す最も単純な人工ニューラルネットワークの損失景観と収束のバックプロパゲーションダイナミクスについて検討する。 9次元パラメータ空間におけるロスランドスケープの断面は異なる特徴を示しており、なぜバックプロパゲーションがゼロロスへの収束を達成できるのかを理解するのに役立つ。
  論文  参考訳（メタデータ） (2025-01-03T21:14:46Z)
• Topological obstruction to the training of shallow ReLU neural networks [0.0]
  損失ランドスケープの幾何学と単純なニューラルネットワークの最適化軌跡との相互作用について検討する。 本稿では,勾配流を用いた浅部ReLUニューラルネットワークの損失景観におけるトポロジカル障害物の存在を明らかにする。
  論文  参考訳（メタデータ） (2024-10-18T19:17:48Z)
• Investigating Network Parameters in Neural-Network Quantum States [0.0]
  ニューラルネットワークを用いた量子状態表現は強力なツールとして認識され始めている。 最も単純なニューラルネットワークの1つである制限ボルツマンマシン(RBM)を、1次元(1次元)逆場イジング(TFI)モデルの基底状態表現に適用する。 1次元TFIモデルにおける秩序相から乱相への量子相転移は, ニューラルネットワークパラメータの挙動に明らかに反映されている。
  論文  参考訳（メタデータ） (2022-02-03T17:13:21Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Lipschitz Recurrent Neural Networks [100.72827570987992]
  我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-22T08:44:52Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。