論文の概要: Backpropagation as a Nilpotent Linear System

• arxiv url: http://arxiv.org/abs/2607.11289v1
• Date: Mon, 13 Jul 2026 09:07:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.408439
• Title: Backpropagation as a Nilpotent Linear System
• Title（参考訳）: 非線形線形系としてのバックプロパゲーション
• Abstract要約: バックプロパゲーションはディープラーニングの計算エンジンである。 我々は、emphF-adjointフレームワークのグローバル演算子理論を示す。 この演算子の視点が,厳密なフィードフォワードネットワークの単一パス崩壊をいかに明らかにするかを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Backpropagation is the computational engine of deep learning, yet its mathematical structure is typically treated as a procedural traversal of computational graphs. We present a global operator theory of the \emph{F-adjoint} framework, which reformulates the layerwise backward recursion of an $L$-depth feedforward network into a single linear system $(I-\cB)\Xs=\bG$, where $\bG$ is a source vector. We prove that the global backward operator $\cB$ is strictly block upper-triangular and nilpotent of index at most $L$. This nilpotency guarantees the exact termination of the Neumann series solution after at most $L$ terms, revealing classical backpropagation to be mathematically equivalent to block back-substitution on an upper bidiagonal system. We formalise \emph{F-symmetry} -- the condition in which the backward pass perfectly mirrors the forward pass -- identifying orthogonal weight matrices as canonical examples. Through worked numerical examples, we demonstrate how this operator perspective exposes the single-path collapse of strictly feedforward networks and its breakdown in residual architectures. Finally, we leverage this compositional structure to rigorously derive the mechanics of residual networks (gradient highways) and transfer learning (gradient truncation). This framework elevates backpropagation from an algorithmic recipe to a global nilpotent-operator formulation.
• Abstract（参考訳）: バックプロパゲーションはディープラーニングの計算エンジンであるが、その数学的構造は一般に計算グラフの手続き的トラバースとして扱われる。 これは、$L$-depth フィードフォワードネットワークを1つの線形系 $(I-\cB)\Xs=\bG$, ここで$\bG$ は元ベクトルである。 我々は、大域的後方作用素 $\cB$ が、高々$L$ の指数の上三角形および零度を厳密にブロックしていることを証明している。 この零性は、少なくとも$L$項の後にノイマン級数解の正確な終了を保証し、古典的なバックプロパゲーションが上向き系のブロックバック置換と数学的に等価であることを明らかにする。 後方通過が前方通過を完全にミラーする条件である 'emph{F-symmetric} を定式化し、直交重み行列を正準例として特定する。 この演算子パースペクティブは, 厳密なフィードフォワードネットワークの単一パス崩壊と, 残余アーキテクチャの分解をいかに明らかにするかを示す。 最後に、この構成構造を利用して、残留ネットワーク(緩やかな高速道路)と移動学習(緩やかなトランケーション)の力学を厳格に導出する。 このフレームワークは、アルゴリズムのレシピからグローバルな零度演算子定式化へのバックプロパゲーションを増大させる。

関連論文リスト

• SILAGE: Memory-Efficient, Full-Gradient-Free Nonconvex Optimization for Nested Finite Sums [51.49970814177172]
  データセットに対する経験的リスクは、自然に$N=nm$全サンプルに類似性を示す。 我々は悲観的な収束分析を避ける分析を提供する。 我々の成果は、既存の最先端の体制を改善した。
  論文  参考訳（メタデータ） (2026-06-14T14:11:07Z)
• Can Neural Networks Achieve Optimal Computational-statistical Tradeoff? An Analysis on Single-Index Model [53.6316818897326]
  本稿では,2層ニューラルネットワークを時間内にトレーニングするための勾配に基づくアルゴリズムを提案する。 このアルゴリズムは未知の信号$star$と強く一致したスパース表現を学習することを示す。 私たちは、$star$が$k$-sparse for $k = o(sqrtd)$という設定にアプローチを拡張します。
  論文  参考訳（メタデータ） (2026-06-13T09:34:39Z)
• Evolution Strategies at the Hyperscale [57.75314521465674]
  本稿では,大集団にバックプロップフリーな最適化を拡大するための進化戦略(ES)アルゴリズムEGGROLLを紹介する。 ESは、微分不可能またはノイズの多い目的を処理できる強力なブラックボックス最適化手法のセットである。 EGGROLLはランダム行列を$Ain mathbbRmtimes r, Bin mathbbRntimes r$ with $rll min(m,n)$ とすることでこれらのボトルネックを克服し、低ランク行列摂動を$A Btop$とする。
  論文  参考訳（メタデータ） (2025-11-20T18:56:05Z)
• Bootstrapping as a Morphism: An Arithmetic Geometry Approach to Asymptotically Faster Homomorphic Encryption [0.9179857807576733]
  本稿では,従来の回路評価モデルを完全にバイパスするブートストラップ手法を提案する。 直射射影としてブートストラップ操作を再構成するために,現代の算術幾何学のツールを適用した。 我々の研究は、$O(d cdot textpoly(log q))$、$d$が環次元、$q$が暗号文である完全かつ確実に正しいブートストラップアルゴリズムである。
  論文  参考訳（メタデータ） (2025-09-29T03:39:01Z)
• A Constructive Framework for Nondeterministic Automata via Time-Shared, Depth-Unrolled Feedforward Networks [0.0]
  非決定論的有限オートマトン(NFA)の時間分割・深度制御型フィードフォワードネットワーク(TS-FFN)を用いたフォーマルで建設的なシミュレーションフレームワークを提案する。 我々の定式化は、二進ベクトルとしてのオートマトン状態、スパース行列変換としての遷移、および共有しきい値更新の合成としての$varepsilon$-closuresを含む非決定的分岐を含む非決定論的分岐を象徴的に符号化する。
  論文  参考訳（メタデータ） (2025-05-30T01:18:35Z)
• Constructive Universal Approximation and Finite Sample Memorization by Narrow Deep ReLU Networks [0.0]
  我々は$N$の異なる点を持つデータセットが$mathbbRd$と$M$の出力クラスを正確に分類できることを示した。 また、任意の有界領域に対して$Lp(Omega; mathbbRm)$の普遍近似定理も証明する。 我々の結果は、深層ニューラルネットワークにおける制御性、表現性、およびトレーニングのダイナミクスを接続する統一的で解釈可能なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-09-10T14:31:21Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• A Unified Scheme of ResNet and Softmax [8.556540804058203]
  回帰問題を理論的に解析する: $| langle exp(Ax) + A x, bf 1_n rangle-1 ( exp(Ax) + Ax ) この回帰問題は、ソフトマックス回帰とResNetを組み合わせた統一的なスキームである。
  論文  参考訳（メタデータ） (2023-09-23T21:41:01Z)
• A framework for overparameterized learning [0.0]
  ディープニューラルネットワークの成功に関する説明は、理論的機械学習における中心的な問題である。 本稿では,多くの一般的な問題をカバーするのに十分な,プロトタイプ学習問題からなるフレームワークを提案する。 次に、教師付き学習、変分オートエンコーダ、勾配ペナルティによるトレーニングがプロトタイプ問題に変換可能であることを示す。
  論文  参考訳（メタデータ） (2022-05-26T17:17:46Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Randomized Exploration for Reinforcement Learning with General Value Function Approximation [122.70803181751135]
  本稿では,ランダム化最小二乗値反復(RLSVI)アルゴリズムに着想を得たモデルレス強化学習アルゴリズムを提案する。 提案アルゴリズムは,スカラーノイズを用いたトレーニングデータを簡易に摂動させることにより,探索を促進する。 我々はこの理論を、既知の困難な探査課題にまたがる実証的な評価で補完する。
  論文  参考訳（メタデータ） (2021-06-15T02:23:07Z)
• Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
  過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。 以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
  論文  参考訳（メタデータ） (2020-10-22T00:32:12Z)
• Deep neural networks for inverse problems with pseudodifferential operators: an application to limited-angle tomography [0.4110409960377149]
  線形逆問題において擬微分演算子(Psi$DOs)を学習するための新しい畳み込みニューラルネットワーク(CNN)を提案する。 フォワード演算子のより一般的な仮定の下では、ISTAの展開された反復はCNNの逐次的な層として解釈できることを示す。 特に、LA-CTの場合、アップスケーリング、ダウンスケーリング、畳み込みの操作は、制限角X線変換の畳み込み特性とウェーブレット系を定義する基本特性を組み合わせることで正確に決定できることを示す。
  論文  参考訳（メタデータ） (2020-06-02T14:03:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。