論文の概要: Extension of Direct Feedback Alignment to Convolutional and Recurrent Neural Network for Bio-plausible Deep Learning

• arxiv url: http://arxiv.org/abs/2006.12830v1
• Date: Tue, 23 Jun 2020 08:42:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 21:24:45.405560
• Title: Extension of Direct Feedback Alignment to Convolutional and Recurrent Neural Network for Bio-plausible Deep Learning
• Title（参考訳）: 生物工学的深層学習のための畳み込みニューラルネットワークへの直接フィードバックアライメントの拡張
• Authors: Donghyeon Han and Gwangtae Park and Junha Ryu and Hoi-jun Yoo
• Abstract要約: 直接フィードバックアライメント(DFA)アルゴリズムの改良に焦点を当てる。 我々は、DFAの使用を畳み込みおよび繰り返しニューラルネットワーク(CNN、RNN)に拡張する。 BPレベルの正確なCNNとRNNトレーニングのための新しいDFAアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Throughout this paper, we focus on the improvement of the direct feedback alignment (DFA) algorithm and extend the usage of the DFA to convolutional and recurrent neural networks (CNNs and RNNs). Even though the DFA algorithm is biologically plausible and has a potential of high-speed training, it has not been considered as the substitute for back-propagation (BP) due to the low accuracy in the CNN and RNN training. In this work, we propose a new DFA algorithm for BP-level accurate CNN and RNN training. Firstly, we divide the network into several modules and apply the DFA algorithm within the module. Second, the DFA with the sparse backward weight is applied. It comes with a form of dilated convolution in the CNN case, and in a form of sparse matrix multiplication in the RNN case. Additionally, the error propagation method of CNN becomes simpler through the group convolution. Finally, hybrid DFA increases the accuracy of the CNN and RNN training to the BP-level while taking advantage of the parallelism and hardware efficiency of the DFA algorithm.
• Abstract（参考訳）: 本稿では,直接フィードバックアライメント(direct feedback alignment, dfa)アルゴリズムの改良と,畳み込みニューラルネットワーク(cnns, rnns)へのdfaの利用について述べる。 DFAアルゴリズムは生物学的に検証可能であり、高速トレーニングの可能性を秘めているが、CNNおよびRNNトレーニングの精度が低いため、バックプロパゲーション(BP)の代替とは考えられていない。 本研究では,BPレベルの高精度CNNとRNNトレーニングのための新しいDFAアルゴリズムを提案する。 まず,ネットワークを複数のモジュールに分割し,モジュール内にDFAアルゴリズムを適用する。 次に、粗い後方重量のDFAを適用する。 CNNの場合では拡張畳み込みの形で、RNNの場合ではスパース行列の乗算の形で提供される。 さらに、グループ畳み込みにより、CNNの誤り伝搬法がより簡単になる。 最後に、ハイブリッドDFAは、DFAアルゴリズムの並列性とハードウェア効率を活用しながら、CNNおよびRNNトレーニングの精度をBPレベルに引き上げる。

関連論文リスト

• Model Parallel Training and Transfer Learning for Convolutional Neural Networks by Domain Decomposition [0.0]
  ディープ畳み込みニューラルネットワーク(CNN)は、幅広い画像処理アプリケーションで非常に成功したことが示されている。 モデルパラメータの増大と大量のトレーニングデータの増加により、複雑なCNNを効率的に訓練するための並列化戦略が必要である。
  論文  参考訳（メタデータ） (2024-08-26T17:35:01Z)
• Training Convolutional Neural Networks with the Forward-Forward algorithm [1.74440662023704]
  Forward Forward (FF)アルゴリズムは、現在まで完全に接続されたネットワークでしか使われていない。 FFパラダイムをCNNに拡張する方法を示す。 我々のFF学習したCNNは、空間的に拡張された新しいラベリング手法を特徴とし、MNISTの手書き桁データセットにおいて99.16%の分類精度を実現している。
  論文  参考訳（メタデータ） (2023-12-22T18:56:35Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Recursive Least Squares for Training and Pruning Convolutional Neural Networks [27.089496826735672]
  畳み込みニューラルネットワーク(CNN)は多くの実用化に成功している。 高い計算とストレージ要件により、リソース制約のあるデバイスへのデプロイが困難になる。 本稿では,CNNの訓練と刈り取りのための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-13T07:14:08Z)
• Credit Assignment Through Broadcasting a Global Error Vector [4.683806391173103]
  バックプロパゲーション(BP)は、ディープニューラルネットワーク(DNN)をトレーニングするために、詳細なユニット固有のフィードバックを使用する。 そこで本研究では,局所的な重み更新と合わせて,グローバルな放送学習信号がDNNのトレーニングを可能にする範囲について検討する。
  論文  参考訳（メタデータ） (2021-06-08T04:08:46Z)
• BreakingBED -- Breaking Binary and Efficient Deep Neural Networks by Adversarial Attacks [65.2021953284622]
  CNNのホワイトボックス攻撃やブラックボックス攻撃に対する堅牢性について検討する。 結果は、蒸留されたCNN、エージェントベースの最新のprunedモデル、およびバイナライズニューラルネットワークのために示されています。
  論文  参考訳（メタデータ） (2021-03-14T20:43:19Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
  我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。 畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
  論文  参考訳（メタデータ） (2020-02-18T17:42:13Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。