論文の概要: Backpropagation as Physical Relaxation: Exact Gradients in Finite Time

• arxiv url: http://arxiv.org/abs/2602.02281v1
• Date: Mon, 02 Feb 2026 16:21:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.285729
• Title: Backpropagation as Physical Relaxation: Exact Gradients in Finite Time
• Title（参考訳）: 物理緩和としてのバックプロパゲーション:有限時間における厳密なグラディエント
• Authors: Antonino Emanuele Scurria,
• Abstract要約: ニューラルネットワークをトレーニングするための基礎アルゴリズムとして,'Dyadic Backproagation'がある。 物理力学系の有限時間緩和として現れることを示す。 層遷移の自然な時間スケールである単位ステップのオイラー離散化は、正確に2Lのステップで標準のバックプロパゲーションを復元する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Backpropagation, the foundational algorithm for training neural networks, is typically understood as a symbolic computation that recursively applies the chain rule. We show it emerges exactly as the finite-time relaxation of a physical dynamical system. By formulating feedforward inference as a continuous-time process and applying Lagrangian theory of non-conservative systems to handle asymmetric interactions, we derive a global energy functional on a doubled state space encoding both activations and sensitivities. The saddle-point dynamics of this energy perform inference and credit assignment simultaneously through local interactions. We term this framework ''Dyadic Backpropagation''. Crucially, we prove that unit-step Euler discretization, the natural timescale of layer transitions, recovers standard backpropagation exactly in precisely 2L steps for an L-layer network, with no approximations. Unlike prior energy-based methods requiring symmetric weights, asymptotic convergence, or vanishing perturbations, our framework guarantees exact gradients in finite time. This establishes backpropagation as the digitally optimized shadow of a continuous physical relaxation, providing a rigorous foundation for exact gradient computation in analog and neuromorphic substrates where continuous dynamics are native.
• Abstract（参考訳）: ニューラルネットワークをトレーニングするための基本的なアルゴリズムであるバックプロパゲーションは、典型的には、連鎖規則を再帰的に適用するシンボリック計算として理解されている。 物理力学系の有限時間緩和として現れることを示す。 フィードフォワード推論を連続時間過程として定式化し、非保守系のラグランジュ理論を適用して非対称相互作用を扱うことにより、活性化と感度の両方を符号化した二重状態空間上の大域エネルギー関数を導出する。 このエネルギーのサドルポイントダイナミクスは、局所的な相互作用を通じて推論とクレジット割り当てを同時に行う。 我々は、この枠組みを 'Dyadic Backproagation'' と呼ぶ。 重要なことは、L層ネットワークの標準バックプロパゲーションは、L層ネットワークに対して正確に2Lのステップで正確に回復し、近似は不要である。 対称性の重み、漸近収束、あるいは摂動の消失を必要とする従来のエネルギーベースの手法とは異なり、我々の枠組みは有限時間における正確な勾配を保証する。 これは、連続的な物理緩和のデジタル的に最適化された影としてバックプロパゲーションを確立し、連続力学がネイティブなアナログ基板およびニューロモルフィック基板における正確な勾配計算のための厳密な基礎を提供する。

関連論文リスト

• Continuous-Time Homeostatic Dynamics for Reentrant Inference Models [0.0]
  我々は、連続時間ニューラル-ODEシステムとして、Fast-Weights Homeostatic Reentry Networkを定式化する。 動力学は、エネルギー汎函数によって支配される有界な誘引子を認め、環のような多様体を生じる。 連続時間リカレントニューラルネットワークや液体ニューラルネットワークとは異なり、FHRNは、固定された再発やニューロン局所的な時間適応よりも、集団レベルのゲイン変調によって安定性を達成する。
  論文  参考訳（メタデータ） (2025-12-04T07:33:13Z)
• Temporal Lifting as Latent-Space Regularization for Continuous-Time Flow Models in AI Systems [0.0]
  連続時間力学系に対する適応時間的再パラメータ化の潜時空間定式化を提案する。 機械学習のダイナミクスの観点からすると、テンポラルリフトは連続時間正規化やタイムワープ演算子として機能する。
  論文  参考訳（メタデータ） (2025-10-10T19:06:32Z)
• Why Neural Network Can Discover Symbolic Structures with Gradient-based Training: An Algebraic and Geometric Foundation for Neurosymbolic Reasoning [73.18052192964349]
  我々は、連続的なニューラルネットワークトレーニングのダイナミックスから、離散的なシンボル構造が自然に現れるかを説明する理論的枠組みを開発する。 ニューラルパラメータを測度空間に上げ、ワッサーシュタイン勾配流としてモデル化することにより、幾何的制約の下では、パラメータ測度 $mu_t$ が2つの同時現象となることを示す。
  論文  参考訳（メタデータ） (2025-06-26T22:40:30Z)
• Generative System Dynamics in Recurrent Neural Networks [56.958984970518564]
  リカレントニューラルネットワーク(RNN)の連続時間ダイナミクスについて検討する。 線形および非線形構成の両方において安定な極限サイクルを実現するためには,スキュー対称性の重み行列が基本であることを示す。 数値シミュレーションは、非線形活性化関数が極限周期を維持するだけでなく、システム統合プロセスの数値安定性を高めることを示す。
  論文  参考訳（メタデータ） (2025-04-16T10:39:43Z)
• Geometrically Taming Dynamical Entanglement Growth in Purified Quantum States [0.0]
  精製された量子状態の絡み合い特性は、量子情報理論において重要な関心事である。 このような動的絡み合いの増大を低減するために幾何的手法をいかに活用するかを示す。 また,精製状態の時間進化時に最適な絡み合いのエントロピーを(局所的に)維持するための一般的な処方料も取得する。
  論文  参考訳（メタデータ） (2023-09-14T18:00:07Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• On Convergence of Training Loss Without Reaching Stationary Points [62.41370821014218]
  ニューラルネットワークの重み変数は、損失関数の勾配が消える定常点に収束しないことを示す。 エルゴード理論の力学系に基づく新しい視点を提案する。
  論文  参考訳（メタデータ） (2021-10-12T18:12:23Z)
• The Limiting Dynamics of SGD: Modified Loss, Phase Space Oscillations, and Anomalous Diffusion [29.489737359897312]
  勾配降下法(SGD)を訓練した深部ニューラルネットワークの限界ダイナミクスについて検討する。 これらのダイナミクスを駆動する重要な要素は、本来のトレーニング損失ではなく、位相空間の振動を引き起こす速度と確率電流を暗黙的に規則化する修正損失の組み合わせであることを示す。
  論文  参考訳（メタデータ） (2021-07-19T20:18:57Z)
• On dissipative symplectic integration with applications to gradient-based optimization [77.34726150561087]
  本稿では,離散化を体系的に実現する幾何学的枠組みを提案する。 我々は、シンプレクティックな非保守的、特に散逸的なハミルトン系への一般化が、制御された誤差まで収束率を維持することができることを示す。
  論文  参考訳（メタデータ） (2020-04-15T00:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。