論文の概要: Detailed Derivation of The Backpropagation Algorithm

• arxiv url: http://arxiv.org/abs/2611.02152v1
• Date: Sun, 01 Nov 2026 19:35:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.533638
• Title: Detailed Derivation of The Backpropagation Algorithm
• Title（参考訳）: バックプロパゲーションアルゴリズムの詳細な導出
• Abstract要約: 本チュートリアルは、シグモイドの活性化と二乗エラー損失を伴う完全に接続されたフィードフォワードネットワークのためのステップバイステップのバックプロパゲーションを導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Backpropagation is the standard method for computing the gradients that train neural networks, but it is usually presented in a compact vector form that skips the intermediate steps. This tutorial derives backpropagation step by step for a fully connected feedforward network with sigmoid activations and a squared-error loss. Using a running example with three layers, we first differentiate the error with respect to a single weight by following its path through the network with the chain rule. We then show how summing over all paths leads to the error terms $δ$ and to the four general backpropagation equations in matrix form. Every term is annotated with its dimensions, so each equation can be checked for consistency. The derivation is then extended to $m$ training examples, where the weight gradients become a single matrix product and the bias term corresponds to broadcasting. It is also extended to mini-batch gradient descent, including why the gradient of a mini-batch estimates the full gradient. Batch and mini-batch training are both given as algorithms. Finally, each equation is linked to the corresponding line of a NumPy implementation trained on the AHDBase dataset of handwritten Arabic digits, and the complete code is included.
• Abstract（参考訳）: バックプロパゲーションは、ニューラルネットワークを訓練する勾配を計算する標準的な方法であるが、通常は中間ステップをスキップするコンパクトなベクトル形式で表される。 本チュートリアルは、シグモイドの活性化と二乗エラー損失を伴う完全に接続されたフィードフォワードネットワークのためのステップバイステップのバックプロパゲーションを導出する。 3つのレイヤを持つ実行中の例を用いて、チェーンルールでネットワークを通る経路をたどることで、まず1重みの誤差を区別する。 すると、すべての経路に対する和が、誤り項$δ$と行列形式の4つの一般バックプロパゲーション方程式にどのように導かれるかを示す。 各項はその次元でアノテートされるので、各方程式は整合性を確認することができる。 導出は$m$のトレーニング例に拡張され、重み勾配は単一の行列積となり、バイアス項は放送に対応する。 また、ミニバッチの勾配が全勾配を推定する理由を含むミニバッチ勾配降下まで拡張される。 バッチとミニバッチのトレーニングはどちらもアルゴリズムとして提供される。 最後に、各方程式は、手書きアラビア数字のAHDBaseデータセットに基づいて訓練されたNumPy実装の対応する行にリンクされ、完全なコードを含む。

関連論文リスト

• Neural Operator Splitting for Fluid Dynamics in Complex Geometry [68.17331685296394]
  本研究では流体力学を学習するフレームワークであるNeural Operator Splittingを提案する。 モノリシックに全ステップの進化を学ぶ代わりに、各ステップを物理的に解釈可能なステップに分解します。 本モデルでは,1つのフルステップニューラル演算子と比較して,平均相対的なL2$ロールアウト誤差を2Dで68%,3Dで40%削減することを示した。
  論文  参考訳（メタデータ） (2026-10-20T05:37:17Z)
• Implicit Bias of SGD in Multivariate ReLU Networks: Effective Width Collapse [16.78534503577613]
  入力重みとバイアスが有限個の方向に沿って一致していることを示し、有効幅の崩壊を導いた。 我々は、学習方向がトレーニングデータに固有の3次活性化パターンを誘導することを証明することによって、学習表現の非冗長性を確立する。
  論文  参考訳（メタデータ） (2026-07-03T22:03:13Z)
• Physics-Informed Neural Networks: A Didactic Derivation of the Complete Training Cycle [0.0]
  本稿では,物理インフォームドニューラルネットワークの完全学習サイクルの自己完結型ガイドである。 Jupyter/PyTorchノートブックは、すべての手動計算と完全なトレーニングパイプラインを再現する。
  論文  参考訳（メタデータ） (2026-04-20T16:34:47Z)
• Implicit Bias of Gradient Descent for Two-layer ReLU and Leaky ReLU Networks on Nearly-orthogonal Data [66.1211659120882]
  好ましい性質を持つ解に対する暗黙の偏見は、勾配に基づく最適化によって訓練されたニューラルネットワークがうまく一般化できる重要な理由であると考えられている。 勾配流の暗黙バイアスは、均質ニューラルネットワーク(ReLUやリークReLUネットワークを含む)に対して広く研究されているが、勾配降下の暗黙バイアスは現在、滑らかなニューラルネットワークに対してのみ理解されている。
  論文  参考訳（メタデータ） (2023-10-29T08:47:48Z)
• Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
  本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。 勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。 勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
  論文  参考訳（メタデータ） (2022-10-13T15:09:54Z)
• Active Labeling: Streaming Stochastic Gradients [91.76135191049232]
  部分的監督に基づくアクティブラーニングを一般化する「アクティブラベリング」問題を定式化する。 サンプル数に対する一般化誤差の比率を最小化するストリーミング技術を提案する。
  論文  参考訳（メタデータ） (2022-05-26T09:49:16Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)
• Implicit Bias of Gradient Descent for Mean Squared Error Regression with Two-Layer Wide Neural Networks [1.3706331473063877]
  幅$n$浅いReLUネットワークをトレーニングする解は、トレーニングデータに適合する関数の$n-1/2$以内であることを示す。 また, トレーニング軌道はスムーズなスプラインの軌道によって捕捉され, 正規化強度は低下することを示した。
  論文  参考訳（メタデータ） (2020-06-12T17:46:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。