論文の概要: Replacing Backpropagation with Biological Plausible Top-down Credit Assignment in Deep Neural Networks Training

• arxiv url: http://arxiv.org/abs/2208.01416v1
• Date: Mon, 1 Aug 2022 07:14:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-03 12:43:47.133022
• Title: Replacing Backpropagation with Biological Plausible Top-down Credit Assignment in Deep Neural Networks Training
• Title（参考訳）: ディープニューラルネットワークトレーニングにおけるバックプロパゲーションを生物学的に可能なトップダウンクレジット割り当てに置き換える
• Authors: Jian-Hui Chen, Zuoren Wang, Cheng-Lin Liu
• Abstract要約: 我々は、損失関数とバック伝搬を置き換えるためにTDCAネットワーク(Top-down Credit Assignment Network)を使用する。 以上の結果から,よく訓練されたTDCAネットワークによるクレジットは,分類タスクにおけるバックプロパゲーションからグラデーションに優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 25.583118298943134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Top-down connections in the biological brain has been shown to be important in high cognitive functions. However, the function of this mechanism in machine learning has not been defined clearly. In this study, we propose to lay out a framework constituted by a bottom-up and a top-down network. Here, we use a Top-down Credit Assignment Network (TDCA-network) to replace the loss function and back propagation (BP) which serve as the feedback mechanism in traditional bottom-up network training paradigm. Our results show that the credit given by well-trained TDCA-network outperforms the gradient from backpropagation in classification task under different settings on multiple datasets. In addition, we successfully use a credit diffusing trick, which can keep training and testing performance remain unchanged, to reduce parameter complexity of the TDCA-network. More importantly, by comparing their trajectories in the parameter landscape, we find that TDCA-network directly achieved a global optimum, in contrast to that backpropagation only can gain a localized optimum. Thus, our results demonstrate that TDCA-network not only provide a biological plausible learning mechanism, but also has the potential to directly achieve global optimum, indicating that top-down credit assignment can substitute backpropagation, and provide a better learning framework for Deep Neural Networks.
• Abstract（参考訳）: 生体脳におけるトップダウン接続は高い認知機能において重要であることが示されている。 しかし、機械学習におけるこのメカニズムの機能は明確に定義されていない。 本研究では,ボトムアップとトップダウンネットワークによって構成されるフレームワークを整理する。 ここでは,従来のボトムアップネットワークのトレーニングパラダイムにおけるフィードバック機構である損失関数とバック伝播(bp)を置き換えるために,トップダウンクレジット割り当てネットワーク(tdca-network)を使用する。 以上の結果から,よく訓練されたTDCAネットワークによるクレジットは,複数のデータセットの異なる設定下での分類タスクのバックプロパゲーションからグラデーションに優れていた。 さらに、TDCAネットワークのパラメータ複雑性を低減するため、トレーニングやテストのパフォーマンスを一定に保つことができるクレジット拡散トリックをうまく利用した。 さらに重要なことは、パラメータランドスケープにおけるそれらの軌跡を比較することで、TDCA-ネットワークは、そのバックプロパゲーションとは対照的に、局所化された最適しか得られないことが分かる。 以上の結果から,TDCAネットワークが生物学的に有効な学習機構を提供するだけでなく,トップダウンのクレジット代入がバックプロパゲーションに取って代わり,ディープニューラルネットワークのためのよりよい学習フレームワークを提供する可能性が示唆された。

関連論文リスト

• Counter-Current Learning: A Biologically Plausible Dual Network Approach for Deep Learning [32.122425860826525]
  生物学的妥当性の欠如が 批判されている 本稿では,ニューラルネットワークにおけるクレジット代入のための生物学的に妥当なフレームワークである対流学習(CCL)を提案する。 我々の研究は、ニューラルネットワークにおける学習と適応の代替メカニズムを提供する、生物学的にインスパイアされた、そして実証可能な学習アルゴリズムの方向性を示す。
  論文  参考訳（メタデータ） (2024-09-30T00:47:13Z)
• Peer-to-Peer Learning Dynamics of Wide Neural Networks [10.179711440042123]
  我々は,一般的なDGDアルゴリズムを用いて学習した広範ニューラルネットワークの学習力学を,明示的で非漸近的に特徴づける。 我々は,誤りや誤りを正確に予測し,分析結果を検証した。
  論文  参考訳（メタデータ） (2024-09-23T17:57:58Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Learning in Deep Neural Networks Using a Biologically Inspired Optimizer [5.144809478361604]
  人工神経(ANN)とスパイクニューラルネット(SNN)にインスパイアされた新しい生物モデルを提案する。 GRAPESは、ニューラルネットワークの各ノードにおけるエラー信号の重量分布依存変調を実装している。 生物学的にインスパイアされたこのメカニズムは,ネットワークの収束率を体系的に改善し,ANNやSNNの分類精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2021-04-23T13:50:30Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)
• Online Spatio-Temporal Learning in Deep Neural Networks [1.6624384368855523]
  オンライン学習は、最近研究コミュニティの注目を集め、BPTTを近似するアプローチや、SNNに適用する生物学的に有望なスキームに焦点をあてている。 ここでは、空間的および時間的勾配成分の明確な分離に基づく別の視点を示す。 私たちは、オンラインスパイキング時間学習(OSTL)という、深層SNNのための新しいオンライン学習アルゴリズムの第一原理から派生した。 浅いネットワークの場合、OSTLはBPTTと同等の勾配であり、BPTT同値勾配を持つSNNのオンライントレーニングを初めて行うことができる。さらに、提案された定式化はSNNアーキテクチャのクラスを公開する。
  論文  参考訳（メタデータ） (2020-07-24T18:10:18Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。