論文の概要: Derivation of the Backpropagation Algorithm Based on Derivative Amplification Coefficients

• arxiv url: http://arxiv.org/abs/2102.04320v1
• Date: Mon, 8 Feb 2021 16:25:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-09 15:33:19.384168
• Title: Derivation of the Backpropagation Algorithm Based on Derivative Amplification Coefficients
• Title（参考訳）: 微分増幅係数に基づくバックプロパゲーションアルゴリズムの導出
• Authors: Yiping Cheng
• Abstract要約: 本稿では,ニューラルネットワークのバックプロパゲーションアルゴリズムの新しい導出法を提案する。 この概念は、完全に接続されたカスケードネットワークのためにこの著者によって最初に提案され、従来のフィードフォワードニューラルネットワークにうまく適用されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The backpropagation algorithm for neural networks is widely felt hard to understand, despite the existence of some well-written explanations and/or derivations. This paper provides a new derivation of this algorithm based on the concept of derivative amplification coefficients. First proposed by this author for fully connected cascade networks, this concept is found to well carry over to conventional feedforward neural networks and it paves the way for the use of mathematical induction in establishing a key result that enables backpropagation for derivative amplification coefficients. Then we establish the connection between derivative amplification coefficients and error coefficients (commonly referred to as errors in the literature), and show that the same backpropagation procedure can be used for error coefficients. The entire derivation is thus rigorous, simple, and elegant.
• Abstract（参考訳）: ニューラルネットワークのバックプロパゲーションアルゴリズムは、よく書かれた説明や導出が存在するにもかかわらず、広く理解されにくい。 本稿では,微分増幅係数の概念に基づくこのアルゴリズムの新たな導出について述べる。 完全連結カスケードネットワークの著者らによって最初に提案されたこの概念は、従来のフィードフォワードニューラルネットワークにうまく適用され、微分増幅係数のバックプロパゲーションを可能にする重要な結果を確立する上で、数学的帰納的帰納的手法が用いられる。 次に,導関数増幅係数と誤差係数(文献では誤差と呼ぶことが多い)との接続を確立し,同じバックプロパゲーション手順を誤差係数に適用できることを示す。 したがって、全体の導出は厳密で単純でエレガントである。

関連論文リスト

• Stable Nonconvex-Nonconcave Training via Linear Interpolation [58.06971354141625]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Backpropagation and F-adjoint [0.0]
  本稿では,ニューラルネットワーク(ANN)のモデル重み学習トレーニングにおいて,フィードフォワードとバックワードの両方のプロセスについて検討する枠組みを提案する。 バックプロパゲーションのための2段階ルールの概念から着想を得て、バックプロパゲーションアルゴリズムのより良い記述を目的としたF-アジョイントの概念を定義する。
  論文  参考訳（メタデータ） (2023-03-29T06:21:53Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• A Derivation of Feedforward Neural Network Gradients Using Fr\'echet Calculus [0.0]
  Fr'teche calculus を用いたフィードフォワードニューラルネットワークの勾配の導出を示す。 我々の分析が、畳み込みネットワークを含むより一般的なニューラルネットワークアーキテクチャにどのように一般化するかを示す。
  論文  参考訳（メタデータ） (2022-09-27T08:14:00Z)
• Lifted Bregman Training of Neural Networks [28.03724379169264]
  本稿では,(潜在的に非滑らかな)近位写像を活性化関数として,フィードフォワードニューラルネットワークのトレーニングのための新しい数学的定式化を導入する。 この定式化はBregmanに基づいており、ネットワークのパラメータに関する偏微分がネットワークのアクティベーション関数の微分の計算を必要としないという利点がある。 ニューラルネットワークに基づく分類器のトレーニングや、スパースコーディングによる(デノーミング)オートエンコーダのトレーニングには、これらのトレーニングアプローチが等しく適しているか、さらに適していることを示す数値的な結果がいくつか提示される。
  論文  参考訳（メタデータ） (2022-08-18T11:12:52Z)
• Bayesian Recurrent Units and the Forward-Backward Algorithm [91.39701446828144]
  ベイズの定理を用いることで、ユニットワイド・リカレンスとフォワード・バックワードアルゴリズムに類似した後方再帰を導出する。 その結果得られたベイジアン再帰ユニットは、ディープラーニングフレームワーク内で再帰ニューラルネットワークとして統合することができる。 音声認識の実験は、最先端の繰り返しアーキテクチャの最後に派生したユニットを追加することで、訓練可能なパラメータの点で非常に低コストで性能を向上させることを示唆している。
  論文  参考訳（メタデータ） (2022-07-21T14:00:52Z)
• Galerkin Neural Networks: A Framework for Approximating Variational Equations with Error Control [0.0]
  本稿では,ニューラルネットワークを用いて変分方程式の解を近似する手法を提案する。 基本関数がニューラルネットワークの列の実現である有限次元部分空間の列を用いる。
  論文  参考訳（メタデータ） (2021-05-28T20:25:40Z)
• Deep learning with transfer functions: new applications in system identification [0.0]
  本稿では,自動微分計算のためのよく定義された効率的なバックプロパゲーション挙動を付与した線形動的作用素を提案する。 このオペレータは、線形転送関数と他の微分可能なユニットを含む構造化ネットワークのエンドツーエンドトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-20T08:58:55Z)
• Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
  予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。 アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。 本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-02T15:21:37Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。