論文の概要: Derivation of the Backpropagation Algorithm Based on Derivative Amplification Coefficients

• arxiv url: http://arxiv.org/abs/2102.04320v1
• Date: Mon, 8 Feb 2021 16:25:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-09 15:33:19.384168
• Title: Derivation of the Backpropagation Algorithm Based on Derivative Amplification Coefficients
• Title（参考訳）: 微分増幅係数に基づくバックプロパゲーションアルゴリズムの導出
• Authors: Yiping Cheng
• Abstract要約: 本稿では,ニューラルネットワークのバックプロパゲーションアルゴリズムの新しい導出法を提案する。 この概念は、完全に接続されたカスケードネットワークのためにこの著者によって最初に提案され、従来のフィードフォワードニューラルネットワークにうまく適用されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The backpropagation algorithm for neural networks is widely felt hard to understand, despite the existence of some well-written explanations and/or derivations. This paper provides a new derivation of this algorithm based on the concept of derivative amplification coefficients. First proposed by this author for fully connected cascade networks, this concept is found to well carry over to conventional feedforward neural networks and it paves the way for the use of mathematical induction in establishing a key result that enables backpropagation for derivative amplification coefficients. Then we establish the connection between derivative amplification coefficients and error coefficients (commonly referred to as errors in the literature), and show that the same backpropagation procedure can be used for error coefficients. The entire derivation is thus rigorous, simple, and elegant.
• Abstract（参考訳）: ニューラルネットワークのバックプロパゲーションアルゴリズムは、よく書かれた説明や導出が存在するにもかかわらず、広く理解されにくい。 本稿では,微分増幅係数の概念に基づくこのアルゴリズムの新たな導出について述べる。 完全連結カスケードネットワークの著者らによって最初に提案されたこの概念は、従来のフィードフォワードニューラルネットワークにうまく適用され、微分増幅係数のバックプロパゲーションを可能にする重要な結果を確立する上で、数学的帰納的帰納的手法が用いられる。 次に,導関数増幅係数と誤差係数(文献では誤差と呼ぶことが多い)との接続を確立し,同じバックプロパゲーション手順を誤差係数に適用できることを示す。 したがって、全体の導出は厳密で単純でエレガントである。

関連論文リスト

• Component-based Sketching for Deep ReLU Nets [55.404661149594375]
  各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。 我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。 提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
  論文  参考訳（メタデータ） (2024-09-21T15:30:43Z)
• Provable Bounds on the Hessian of Neural Networks: Derivative-Preserving Reachability Analysis [6.9060054915724]
  本稿では,アクティベーションの異なるニューラルネットワークに適した新しい到達可能性解析手法を提案する。 本手法の重要な特徴は,活性化関数のループ変換により,その単調性を効果的に活用することである。 結果として得られるエンドツーエンドの抽象化は、微分情報を局所的に保存し、小さな入力集合に正確な境界を与える。
  論文  参考訳（メタデータ） (2024-06-06T20:02:49Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Backpropagation and F-adjoint [0.0]
  本稿では,ニューラルネットワーク(ANN)のモデル重み学習トレーニングにおいて,フィードフォワードとバックワードの両方のプロセスについて検討する枠組みを提案する。 バックプロパゲーションのための2段階ルールの概念から着想を得て、バックプロパゲーションアルゴリズムのより良い記述を目的としたF-アジョイントの概念を定義する。
  論文  参考訳（メタデータ） (2023-03-29T06:21:53Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• A Derivation of Feedforward Neural Network Gradients Using Fr\'echet Calculus [0.0]
  Fr'teche calculus を用いたフィードフォワードニューラルネットワークの勾配の導出を示す。 我々の分析が、畳み込みネットワークを含むより一般的なニューラルネットワークアーキテクチャにどのように一般化するかを示す。
  論文  参考訳（メタデータ） (2022-09-27T08:14:00Z)
• Lifted Bregman Training of Neural Networks [28.03724379169264]
  本稿では,(潜在的に非滑らかな)近位写像を活性化関数として,フィードフォワードニューラルネットワークのトレーニングのための新しい数学的定式化を導入する。 この定式化はBregmanに基づいており、ネットワークのパラメータに関する偏微分がネットワークのアクティベーション関数の微分の計算を必要としないという利点がある。 ニューラルネットワークに基づく分類器のトレーニングや、スパースコーディングによる(デノーミング)オートエンコーダのトレーニングには、これらのトレーニングアプローチが等しく適しているか、さらに適していることを示す数値的な結果がいくつか提示される。
  論文  参考訳（メタデータ） (2022-08-18T11:12:52Z)
• Bayesian Recurrent Units and the Forward-Backward Algorithm [91.39701446828144]
  ベイズの定理を用いることで、ユニットワイド・リカレンスとフォワード・バックワードアルゴリズムに類似した後方再帰を導出する。 その結果得られたベイジアン再帰ユニットは、ディープラーニングフレームワーク内で再帰ニューラルネットワークとして統合することができる。 音声認識の実験は、最先端の繰り返しアーキテクチャの最後に派生したユニットを追加することで、訓練可能なパラメータの点で非常に低コストで性能を向上させることを示唆している。
  論文  参考訳（メタデータ） (2022-07-21T14:00:52Z)
• Deep learning with transfer functions: new applications in system identification [0.0]
  本稿では,自動微分計算のためのよく定義された効率的なバックプロパゲーション挙動を付与した線形動的作用素を提案する。 このオペレータは、線形転送関数と他の微分可能なユニットを含む構造化ネットワークのエンドツーエンドトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-04-20T08:58:55Z)
• Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
  予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。 アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。 本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-02T15:21:37Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。