論文の概要: Backpropagation Through Time For Networks With Long-Term Dependencies

• arxiv url: http://arxiv.org/abs/2103.15589v1
• Date: Fri, 26 Mar 2021 15:55:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 14:47:23.640069
• Title: Backpropagation Through Time For Networks With Long-Term Dependencies
• Title（参考訳）: 長期依存のあるネットワークの時間的バックプロパゲーション
• Authors: George Bird, Maxim E. Polivoda
• Abstract要約: backpropagation through time(bptt)は、recurrent neural networks(rnn)内でチューニングされたパラメータを更新する技術である。 本稿では,個別ループと複数ループの相互作用に対して,それぞれ「離散フォワード感度方程式」とその変種を用いることを提案する。 このソリューションは正確であり、ネットワークのパラメータを次のステップごとに変更することができますが、Jacobianの計算が必要です。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Backpropagation through time (BPTT) is a technique of updating tuned parameters within recurrent neural networks (RNNs). Several attempts at creating such an algorithm have been made including: Nth Ordered Approximations and Truncated-BPTT. These methods approximate the backpropagation gradients under the assumption that the RNN only utilises short-term dependencies. This is an acceptable assumption to make for the current state of artificial neural networks. As RNNs become more advanced, a shift towards influence by long-term dependencies is likely. Thus, a new method for backpropagation is required. We propose using the 'discrete forward sensitivity equation' and a variant of it for single and multiple interacting recurrent loops respectively. This solution is exact and also allows the network's parameters to vary between each subsequent step, however it does require the computation of a Jacobian.
• Abstract（参考訳）: backpropagation through time(bptt)は、recurrent neural networks(rnn)内でチューニングされたパラメータを更新する技術である。 そのようなアルゴリズムを作成する試みとしては、Nth Ordered ApproximationsとTrncated-BPTTがある。 これらの手法は、RNNが短期依存のみを利用するという仮定の下で、バックプロパゲーション勾配を近似する。 これは、ニューラルネットワークの現在の状態について、許容できる仮定である。 RNNがさらに進歩するにつれて、長期的な依存関係による影響へのシフトが予想される。 したがって、新しいバックプロパゲーション方法が必要となる。 本稿では,個別ループと複数ループの相互作用に対して,それぞれ「離散フォワード感度方程式」とその変種を用いることを提案する。 この解は正確であり、ネットワークのパラメータを次のステップごとに変化させることができるが、ヤコビアンの計算を必要とする。

関連論文リスト

• A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
  反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。 自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。 時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
  論文  参考訳（メタデータ） (2023-01-24T08:39:20Z)
• Timing-Based Backpropagation in Spiking Neural Networks Without Single-Spike Restrictions [2.8360662552057323]
  スパイキングニューラルネットワーク(SNN)のトレーニングのための新しいバックプロパゲーションアルゴリズムを提案する。 シングルスパイク制限なしで、個々のニューロンの相対多重スパイクタイミングに情報をエンコードする。
  論文  参考訳（メタデータ） (2022-11-29T11:38:33Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training Overparametrized Neural Networks in Sublinear Time [14.918404733024332]
  ディープラーニングには膨大な計算とエネルギーのコストが伴う。 探索木の小さな部分集合として、二分ニューラルネットワークの新しいサブセットを示し、それぞれが探索木のサブセット(Ds)に対応する。 我々はこの見解が深層ネットワーク(Ds)の分析解析にさらに応用できると考えている。
  論文  参考訳（メタデータ） (2022-08-09T02:29:42Z)
• A Taxonomy of Recurrent Learning Rules [1.4186974630564675]
  時間によるバックプロパゲーション(BPTT)は、リカレントニューラルネットワーク(RNN)のトレーニングにおけるデファクトスタンダードである E-propはこれらのアルゴリズムの因果的、局所的で効率的な代替案として提案された。 BPTT から RTRL を導出し,直観的・明確化を図った。
  論文  参考訳（メタデータ） (2022-07-23T07:03:42Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• ADOM: Accelerated Decentralized Optimization Method for Time-Varying Networks [124.33353902111939]
  本稿では,時間変動ネットワーク上の滑らかかつ強凸分散最適化のための高速化手法である adom を提案する。 ネットワーク構造のみに依存する一定の要因まで、その通信は加速されたNesterovメソッドのそれと同じです。
  論文  参考訳（メタデータ） (2021-02-18T09:37:20Z)
• Multi-Time-Scale Input Approaches for Hourly-Scale Rainfall-Runoff Modeling based on Recurrent Neural Networks [0.0]
  繰り返しニューラルネットワーク(RNN)による時系列モデリングに必要な計算時間を削減する2つの手法を提案する。 1つのアプローチは、RNNに並列に入力時系列の粗い時間分解を提供する。 その結果,提案手法のどちらも,RNNのトレーニングに要する時間を大幅に短縮できることを確認した。
  論文  参考訳（メタデータ） (2021-01-30T07:51:55Z)
• Delay Differential Neural Networks [0.2538209532048866]
  遅延微分方程式 (DDE) に触発された新しいモデル, 遅延微分ニューラルネットワーク (DDNN) を提案する。 ddnnのトレーニングには,ネットワーク上での勾配計算とバックプロパゲーションを行うためのメモリ効率の良い随伴法を提案する。 Cifar10やCifar100のような合成および実世界の画像分類データセットで行った実験は、提案モデルの有効性を示した。
  論文  参考訳（メタデータ） (2020-12-12T12:20:54Z)
• A Deep-Unfolded Reference-Based RPCA Network For Video Foreground-Background Separation [86.35434065681925]
  本稿では,ロバスト主成分分析(RPCA)問題に対するディープアンフォールディングに基づくネットワーク設計を提案する。 既存の設計とは異なり,本手法は連続するビデオフレームのスパース表現間の時間的相関をモデル化することに焦点を当てている。 移動MNISTデータセットを用いた実験により、提案したネットワークは、ビデオフォアグラウンドとバックグラウンドの分離作業において、最近提案された最先端のRPCAネットワークより優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-02T11:40:09Z)
• Belief Propagation Neural Networks [103.97004780313105]
  信念伝播ニューラルネットワーク(BPNN)を紹介する。 BPNNは因子グラフ上で動作し、信念伝播(BP)を一般化する BPNNはIsingモデル上で1.7倍高速に収束し、より厳密な境界を提供することを示す。 挑戦的なモデルカウント問題に関して、BPNNは最先端の手作り手法の100倍の速さを推定する。
  論文  参考訳（メタデータ） (2020-07-01T07:39:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。