論文の概要: An induction proof of the backpropagation algorithm in matrix notation

• arxiv url: http://arxiv.org/abs/2107.09384v1
• Date: Tue, 20 Jul 2021 10:02:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-21 15:03:21.223351
• Title: An induction proof of the backpropagation algorithm in matrix notation
• Title（参考訳）: 行列記法におけるバックプロパゲーションアルゴリズムの帰納的証明
• Authors: Dirk Ostwald and Franziska Us\'ee
• Abstract要約: バックプロパゲーション (BP) は、ニューラルネットワークの計算アーキテクチャを利用するアルゴリズムである。 この研究は、行列記法におけるBPアルゴリズムの完全な帰納証明を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Backpropagation (BP) is a core component of the contemporary deep learning incarnation of neural networks. Briefly, BP is an algorithm that exploits the computational architecture of neural networks to efficiently evaluate the gradient of a cost function during neural network parameter optimization. The validity of BP rests on the application of a multivariate chain rule to the computational architecture of neural networks and their associated objective functions. Introductions to deep learning theory commonly present the computational architecture of neural networks in matrix form, but eschew a parallel formulation and justification of BP in the framework of matrix differential calculus. This entails several drawbacks for the theory and didactics of deep learning. In this work, we overcome these limitations by providing a full induction proof of the BP algorithm in matrix notation. Specifically, we situate the BP algorithm in the framework of matrix differential calculus, encompass affine-linear potential functions, prove the validity of the BP algorithm in inductive form, and exemplify the implementation of the matrix form BP algorithm in computer code.
• Abstract（参考訳）: バックプロパゲーション(BP)は、ニューラルネットワークの現代の深層学習のコアコンポーネントである。 簡単に言うと、BPはニューラルネットワークの計算アーキテクチャを利用して、ニューラルネットワークパラメータ最適化時のコスト関数の勾配を効率的に評価するアルゴリズムである。 BPの有効性は、ニューラルネットワークの計算アーキテクチャとその関連する目的関数への多変量連鎖則の適用にかかっている。 ディープラーニング理論の導入は、一般にニューラルネットワークの行列形式による計算アーキテクチャを提示するが、行列微分計算の枠組みにおいて、BPの並列的な定式化と正当化を行う。 これには、深層学習の理論と実践にいくつかの欠点が伴う。 本研究では,行列表記におけるBPアルゴリズムの完全な帰納証明を提供することにより,これらの制限を克服する。 具体的には,行列微分計算の枠組みにBPアルゴリズムを配置し,アフィン線形ポテンシャル関数を包含し,BPアルゴリズムの帰納形式の有効性を証明し,行列形式BPアルゴリズムの実装をコンピュータコードで実証する。

関連論文リスト

• Front-propagation Algorithm: Explainable AI Technique for Extracting Linear Function Approximations from Neural Networks [0.0]
  本稿では、深層ニューラルネットワークの意思決定ロジックの解明を目的とした、新しいAI技術であるフロントプロパゲーションアルゴリズムを紹介する。 積分グラディエントやシェープ値などの他の一般的な説明可能性アルゴリズムとは異なり、提案アルゴリズムはネットワークの正確で一貫した線形関数説明を抽出することができる。 公開されているベンチマークデータセットに基づいてトレーニングされた3つの異なるニューラルネットワークアーキテクチャで、正確な線形関数を提供することの有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-25T14:50:23Z)
• Deep Unrolling for Nonconvex Robust Principal Component Analysis [75.32013242448151]
  我々はロバスト成分分析のためのアルゴリズムを設計する(A) 行列を低主行列とスパース主行列の和に分解する。
  論文  参考訳（メタデータ） (2023-07-12T03:48:26Z)
• When Deep Learning Meets Polyhedral Theory: A Survey [6.899761345257773]
  過去10年間で、ディープ・ニューラル・ラーニングの顕著な精度のおかげで、ディープは予測モデリングの一般的な方法論となった。 一方、ニューラルネットワークの構造はより単純で線形な関数に収束した。
  論文  参考訳（メタデータ） (2023-04-29T11:46:53Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• Deep learning via message passing algorithms based on belief propagation [2.931240348160871]
  本稿では,局所的なエントロピー分布に偏りを持つ強化場を有するBPベースのメッセージパッシングアルゴリズムのファミリについて述べる。 これらのアルゴリズムは、SGDにインスパイアされたソリューションに匹敵するパフォーマンスで、離散重みとアクティベーションを持つ多層ニューラルネットワークをトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:52:26Z)
• Predictive Coding Can Do Exact Backpropagation on Convolutional and Recurrent Neural Networks [40.51949948934705]
  予測符号化ネットワーク(PCN)は、脳内の情報処理に影響を及ぼすモデルである。 BPは現代の機械学習において最も成功した学習方法と考えられている。 生物学的に妥当なアルゴリズムは複雑なアーキテクチャ上でBPの精度を正確に再現できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T14:57:01Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。