論文の概要: Neural Networks as Local-to-Global Computations

• arxiv url: http://arxiv.org/abs/2603.14831v1
• Date: Mon, 16 Mar 2026 05:23:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:36.064773
• Title: Neural Networks as Local-to-Global Computations
• Title（参考訳）: 局所-グローバル計算としてのニューラルネットワーク
• Authors: Vicente Bosca, Robert Ghrist,
• Abstract要約: エッジ上の制約マップとして各計算ステップを符号化することにより,任意のReLUニューラルネットワークからシーフを構築する。 フォワードパスとは異なり、熱方程式は層間で情報を双方向に伝播し、両方の方向に制約を課すピン付きニューロンを可能にする。 我々は, この枠組みを小さな合成問題に対して実験的に検証し, 収束定理を検証し, せん断に基づくトレーニングがまだ勾配降下と競合していないものの, 理論によって予測される定量的なスケーリング法則に従うことを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We construct a cellular sheaf from any feedforward ReLU neural network by placing one vertex for each intermediate quantity in the forward pass and encoding each computational step - affine transformation, activation, output - as a restriction map on an edge. The restricted coboundary operator on the free coordinates is unitriangular, so its determinant is $1$ and the restricted Laplacian is positive definite for every activation pattern. It follows that the relative cohomology vanishes and the forward pass output is the unique harmonic extension of the boundary data. The sheaf heat equation converges exponentially to this output despite the state-dependent switching introduced by piecewise linear activations. Unlike the forward pass, the heat equation propagates information bidirectionally across layers, enabling pinned neurons that impose constraints in both directions, training through local discrepancy minimization without a backward pass, and per-edge diagnostics that decompose network behavior by layer and operation type. We validate the framework experimentally on small synthetic tasks, confirming the convergence theorems and demonstrating that sheaf-based training, while not yet competitive with stochastic gradient descent, obeys quantitative scaling laws predicted by the theory.
• Abstract（参考訳）: 本研究では,任意のフィードフォワードReLUニューラルネットワークから,各中間量に頂点を1個配置し,エッジ上の制約マップとしてアフィン変換,アクティベーション,出力といった計算ステップを符号化することにより,セル層を構築する。 自由座標上の制限共役作用素はユニ角であり、その行列式は1ドルであり、制限ラプラシアンはすべての活性化パターンに対して正定値である。 相対コホモロジーは消滅し、フォワードパス出力は境界データのユニークな調和拡張である。 せん断熱方程式はこの出力に指数関数的に収束する。 フォワードパスとは異なり、熱方程式はレイヤ間で情報を双方向に伝播し、両方の方向に制約を課すピン付きニューロン、後方パスのない局所的な不一致最小化によるトレーニング、レイヤと運用タイプによってネットワークの振る舞いを分解するエッジごとの診断を可能にする。 我々は, この枠組みを小さな合成問題に対して実験的に検証し, 収束定理を検証し, せん断に基づくトレーニングがまだ確率勾配降下と競合していないものの, 理論によって予測される定量的なスケーリング法則に従うことを示した。

関連論文リスト

• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Capturing the Diffusive Behavior of the Multiscale Linear Transport Equations by Asymptotic-Preserving Convolutional DeepONets [31.88833218777623]
  Asymptotic-Preserving Convolutional Deep Operator Networks (APCONs) について紹介する。 本研究では,グローバルな熱カーネルの代わりに複数のローカルな畳み込み演算を用いた畳み込みディープオペレータネットワークを提案する。 我々のAPCON法は, グリッドサイズに依存しないパラメータ数を持ち, 線形輸送問題の拡散挙動を捉えることができる。
  論文  参考訳（メタデータ） (2023-06-28T03:16:45Z)
• On the Effect of Initialization: The Scaling Path of 2-Layer Neural Networks [21.69222364939501]
  教師付き学習では、正規化経路はゼロからの勾配降下の最適化経路の便利な理論的プロキシとして用いられることがある。 この経路がカーネルとリッチレジームの間に連続的に補間されていることを示す。
  論文  参考訳（メタデータ） (2023-03-31T05:32:11Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Learning Quantized Neural Nets by Coarse Gradient Method for Non-linear Classification [3.158346511479111]
  特定の単調性を持つSTEのクラスを提案し、量子化されたアクティベーション関数を持つ2層ネットワークのトレーニングへの応用について検討する。 提案したSTEに対して,対応する粗度勾配法が大域最小値に収束することを示し,性能保証を確立する。
  論文  参考訳（メタデータ） (2020-11-23T07:50:09Z)
• Deep neural networks for inverse problems with pseudodifferential operators: an application to limited-angle tomography [0.4110409960377149]
  線形逆問題において擬微分演算子(Psi$DOs)を学習するための新しい畳み込みニューラルネットワーク(CNN)を提案する。 フォワード演算子のより一般的な仮定の下では、ISTAの展開された反復はCNNの逐次的な層として解釈できることを示す。 特に、LA-CTの場合、アップスケーリング、ダウンスケーリング、畳み込みの操作は、制限角X線変換の畳み込み特性とウェーブレット系を定義する基本特性を組み合わせることで正確に決定できることを示す。
  論文  参考訳（メタデータ） (2020-06-02T14:03:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。