論文の概要: Exact Network Surgery: Functional Invariance and Gradient Plasticity in Reactive Computational Graphs

• arxiv url: http://arxiv.org/abs/2607.16568v1
• Date: Sat, 18 Jul 2026 00:48:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.188751
• Title: Exact Network Surgery: Functional Invariance and Gradient Plasticity in Reactive Computational Graphs
• Title（参考訳）: Exact Network surgery: Reactive Computational Graphsにおける機能的不変性とグラディエント塑性
• Abstract要約: ライブ計算グラフに残差ブロックを挿入する際の場所を形式化する。 挿入したパラメータは挿入直後にトレーニング可能であることを示す。 フラグ付き予備虫垂は、挿入後ゲートダイナミクスに関する最初の単座観察を報告している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Function-preserving network growth techniques such as Net2Net and progressive stacking expand a model's capacity without destroying its learned function, but existing formulations either tolerate numerical perturbations or require a full rebuild of the training program. We formalize Exact Network Surgery: the in-place insertion of a residual block into a live computational graph such that (i) the network function is preserved -- bit-exactly under explicit floating-point hypotheses -- and (ii) inserted parameters remain trainable immediately after insertion. We prove an identity-morphism theorem for gated residual blocks, a structural-locality theorem showing that a reactive invalidation engine recomputes exactly the downstream cone of the insertion point, leaving every other node's value and optimizer state untouched, and an escape-from-initialization proposition showing that the Gradient Shadowing gate alpha, initialized at zero over a randomly initialized branch, receives a generically non-zero gradient at insertion time. We identify a degenerate configuration -- zero-initialized output projections combined with a zero gate -- that is an exact saddle point gradient descent cannot escape. Every claim is validated on the reference implementation in NeuroDSL, a reactive graph engine in Julia: grafting is bit-exact on every logit tested (0 mismatches out of 1600); the gate escapes zero at the first optimizer step and unlocks branch gradients at the second, exactly as predicted; the degenerate configuration exhibits gradients identically zero for the entire 600-step run; surgery cost tracks downstream cone size with r = 0.9992 while graft-plus-invalidation bookkeeping is constant (about 0.75 ms) across insertion depths; and training resumes bit-identically across a real process restart. A flagged preliminary appendix reports first single-seed observations on post-insertion gate dynamics.
• Abstract（参考訳）: Net2Netやプログレッシブ・スタックングのような関数保存型ネットワーク成長技術は、学習機能を破壊することなくモデルの能力を拡張するが、既存の定式化では数値摂動を許容するか、トレーニングプログラムを完全に再構築する必要がある。 排他的ネットワーク手術の形式化--生きた計算グラフへの残差ブロックのインプレース挿入 i) ネットワーク関数は -- 明示的な浮動小数点仮説の下で -- ビット的に保存され、 (ii)挿入パラメータは挿入直後にトレーニング可能である。 ゲート状残差ブロックに対する自己同型定理、反応性の無効化エンジンが挿入点の下流円錐を正確に再計算し、他の全てのノードの値とオプティマイザ状態が未接触のまま残すことを示す構造的局所性定理、およびランダムに初期化された分岐上でゼロで初期化されるグラディエントシャドーイングゲートアルファが挿入時に一般の非ゼロ勾配を受けることを示すエスケープ初期化命題を証明した。 我々は、ゼロ初期化出力プロジェクションとゼロゲートを組み合わせた退化構成を識別する。 すべてのクレームは、JuliaのリアクティブグラフエンジンであるNeuroDSLのリファレンス実装に基づいて検証されている: グラフ化は、テストされたすべてのロジット(1600年内0ミスマッチ)でビットエクササイズであり、ゲートは第1のオプティマイザステップでゼロを脱出し、予想通り第2のブランチ勾配をアンロックする。 フラグ付き予備虫垂は、挿入後ゲートダイナミクスに関する最初の単座観察を報告している。

関連論文リスト

• Quantifying Depth Sufficiency in Residual Neural Networks: A First-Order Criterion [16.717939260307087]
  本研究は,1次残差深度飽和度を許容される挿入毎に局所的に厳密な減少がないこととして定義する。 追加の深さは、条件付きアクティベーション勾配が少なくとも1つの許容可能な残留接空間にゼロでない射影を持つときに正確に1次値を持つ。 ResNets, GPT-2-style model, and continued-pretrained Pythia checkpoints, the maximum activation-gradient norms to the low-signal regime with depth。
  論文  参考訳（メタデータ） (2026-08-01T04:07:48Z)
• Physics-Informed Neural Networks: A Didactic Derivation of the Complete Training Cycle [0.0]
  本稿では,物理インフォームドニューラルネットワークの完全学習サイクルの自己完結型ガイドである。 Jupyter/PyTorchノートブックは、すべての手動計算と完全なトレーニングパイプラインを再現する。
  論文  参考訳（メタデータ） (2026-04-20T16:34:47Z)
• Neural Networks as Local-to-Global Computations [0.0]
  エッジ上の制約マップとして各計算ステップを符号化することにより,任意のReLUニューラルネットワークからシーフを構築する。 フォワードパスとは異なり、熱方程式は層間で情報を双方向に伝播し、両方の方向に制約を課すピン付きニューロンを可能にする。 我々は, この枠組みを小さな合成問題に対して実験的に検証し, 収束定理を検証し, せん断に基づくトレーニングがまだ勾配降下と競合していないものの, 理論によって予測される定量的なスケーリング法則に従うことを示した。
  論文  参考訳（メタデータ） (2026-03-16T05:23:31Z)
• Unbiased Gradient Estimation for Event Binning via Functional Backpropagation [64.88399635309918]
  バックプロパゲーション中に弱微分を合成することにより任意の双対関数の非バイアス勾配推定のための新しいフレームワークを提案する。 自己監督型光流ではECEが9.4%,SLAMでは5.1%低下し,事象に基づく視覚知覚において大きなメリットが示された。
  論文  参考訳（メタデータ） (2026-02-13T04:05:03Z)
• Non-Singularity of the Gradient Descent map for Neural Networks with Piecewise Analytic Activations [53.348574336527854]
  重みとバイアスの空間上の関数としてのニューラルネットワークマップについて検討する。 我々は、現実的なニューラルネットワークアーキテクチャの損失ランドスケープにおける勾配降下(GD)マップの非特異性を初めて証明した。
  論文  参考訳（メタデータ） (2025-10-28T14:34:33Z)
• Rethinking PGD Attack: Is Sign Function Necessary? [131.6894310945647]
  本稿では,このような手話に基づく更新アルゴリズムが段階的攻撃性能にどのように影響するかを理論的に分析する。 本稿では,手話の使用を排除したRGDアルゴリズムを提案する。 提案したRGDアルゴリズムの有効性は実験で広く実証されている。
  論文  参考訳（メタデータ） (2023-12-03T02:26:58Z)
• Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data [66.1211659120882]
  好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。 勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
  論文  参考訳（メタデータ） (2023-10-29T08:47:48Z)
• A Framework for Provably Stable and Consistent Training of Deep Feedforward Networks [4.21061712600981]
  本稿では、教師付き(分類と回帰)および教師なし(強化学習)シナリオにおいて、ディープニューラルネットワークを訓練するための新しいアルゴリズムを提案する。 このアルゴリズムは、標準降下勾配と勾配クリッピング法を組み合わせたものである。 理論的および実験を通して、我々のアルゴリズム更新はばらつきが低く、トレーニング損失はスムーズな方法で減少することを示す。
  論文  参考訳（メタデータ） (2023-05-20T07:18:06Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。