論文の概要: Biologically Plausible Training of Deep Neural Networks Using a Top-down Credit Assignment Network

• arxiv url: http://arxiv.org/abs/2208.01416v2
• Date: Wed, 28 Feb 2024 04:06:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 19:32:13.948998
• Title: Biologically Plausible Training of Deep Neural Networks Using a Top-down Credit Assignment Network
• Title（参考訳）: トップダウンクレジット割り当てネットワークを用いた深層ニューラルネットワークの生物学的に妥当なトレーニング
• Authors: Jian-Hui Chen, Cheng-Lin Liu, Zuoren Wang
• Abstract要約: トップダウン・クレジット・アサインメント・ネットワーク(TDCA-network)は、トップダウン・クレジット・アサインメント・ネットワーク(TDCA-network)を用いてボトムアップ・ネットワークを訓練するように設計されている。 TDCAネットワークは、ニューラルネットワークトレーニングで広く使われている従来の損失関数とバックプロパゲーションアルゴリズムの代用として機能する。 その結果、TDCA-networkは様々なデータセットでニューラルネットワークをトレーニングする有望な可能性を示唆している。
• 参考スコア（独自算出の注目度）: 32.575847142016585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the widespread adoption of Backpropagation algorithm-based Deep Neural Networks, the biological infeasibility of the BP algorithm could potentially limit the evolution of new DNN models. To find a biologically plausible algorithm to replace BP, we focus on the top-down mechanism inherent in the biological brain. Although top-down connections in the biological brain play crucial roles in high-level cognitive functions, their application to neural network learning remains unclear. This study proposes a two-level training framework designed to train a bottom-up network using a Top-Down Credit Assignment Network (TDCA-network). The TDCA-network serves as a substitute for the conventional loss function and the back-propagation algorithm, widely used in neural network training. We further introduce a brain-inspired credit diffusion mechanism, significantly reducing the TDCA-network's parameter complexity, thereby greatly accelerating training without compromising the network's performance.Our experiments involving non-convex function optimization, supervised learning, and reinforcement learning reveal that a well-trained TDCA-network outperforms back-propagation across various settings. The visualization of the update trajectories in the loss landscape indicates the TDCA-network's ability to bypass local minima where BP-based trajectories typically become trapped. The TDCA-network also excels in multi-task optimization, demonstrating robust generalizability across different datasets in supervised learning and unseen task settings in reinforcement learning. Moreover, the results indicate that the TDCA-network holds promising potential to train neural networks across diverse architectures.
• Abstract（参考訳）: バックプロパゲーションアルゴリズムベースのDeep Neural Networksが広く採用されているにもかかわらず、BPアルゴリズムの生物学的可能性により、新しいDNNモデルの進化が制限される可能性がある。 BPを置き換える生物学的に妥当なアルゴリズムを見つけるために,我々は生体脳に固有のトップダウン機構に注目した。 生体脳におけるトップダウン接続は高レベル認知機能において重要な役割を果たすが、そのニューラルネットワーク学習への応用はいまだに不明である。 本研究では,トップダウンクレジット割り当てネットワーク(tdca-network)を用いてボトムアップネットワークをトレーニングするために設計された2レベルトレーニングフレームワークを提案する。 TDCAネットワークは、ニューラルネットワークトレーニングで広く使われている従来の損失関数とバックプロパゲーションアルゴリズムの代わりに機能する。 さらに、TDCAネットワークのパラメータの複雑さを著しく低減し、ネットワークの性能を損なうことなくトレーニングを劇的に加速させる、脳にインスパイアされた信用拡散機構を導入し、非凸関数最適化、教師付き学習、強化学習を含む実験により、よく訓練されたTDCAネットワークは、様々な設定においてバックプロパゲーションに優れることが明らかになった。 ロスランドスケープにおける更新軌跡の可視化は、BPベースの軌跡が通常閉じ込められる局所的なミニマをバイパスするTDCAネットワークの能力を示している。 TDCA-networkはマルチタスク最適化にも優れており、教師付き学習における異なるデータセット間の堅牢な一般化性と強化学習における未確認タスク設定を実証している。 さらに、TDCAネットワークは様々なアーキテクチャでニューラルネットワークをトレーニングする有望な可能性を秘めている。

関連論文リスト

• Counter-Current Learning: A Biologically Plausible Dual Network Approach for Deep Learning [32.122425860826525]
  生物学的妥当性の欠如が 批判されている 本稿では,ニューラルネットワークにおけるクレジット代入のための生物学的に妥当なフレームワークである対流学習(CCL)を提案する。 我々の研究は、ニューラルネットワークにおける学習と適応の代替メカニズムを提供する、生物学的にインスパイアされた、そして実証可能な学習アルゴリズムの方向性を示す。
  論文  参考訳（メタデータ） (2024-09-30T00:47:13Z)
• Peer-to-Peer Learning Dynamics of Wide Neural Networks [10.179711440042123]
  我々は,一般的なDGDアルゴリズムを用いて学習した広範ニューラルネットワークの学習力学を,明示的で非漸近的に特徴づける。 我々は,誤りや誤りを正確に予測し,分析結果を検証した。
  論文  参考訳（メタデータ） (2024-09-23T17:57:58Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Learning in Deep Neural Networks Using a Biologically Inspired Optimizer [5.144809478361604]
  人工神経(ANN)とスパイクニューラルネット(SNN)にインスパイアされた新しい生物モデルを提案する。 GRAPESは、ニューラルネットワークの各ノードにおけるエラー信号の重量分布依存変調を実装している。 生物学的にインスパイアされたこのメカニズムは,ネットワークの収束率を体系的に改善し,ANNやSNNの分類精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2021-04-23T13:50:30Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Deep Multi-Task Learning for Cooperative NOMA: System Design and Principles [52.79089414630366]
  我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。 我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
  論文  参考訳（メタデータ） (2020-07-27T12:38:37Z)
• Online Spatio-Temporal Learning in Deep Neural Networks [1.6624384368855523]
  オンライン学習は、最近研究コミュニティの注目を集め、BPTTを近似するアプローチや、SNNに適用する生物学的に有望なスキームに焦点をあてている。 ここでは、空間的および時間的勾配成分の明確な分離に基づく別の視点を示す。 私たちは、オンラインスパイキング時間学習(OSTL)という、深層SNNのための新しいオンライン学習アルゴリズムの第一原理から派生した。 浅いネットワークの場合、OSTLはBPTTと同等の勾配であり、BPTT同値勾配を持つSNNのオンライントレーニングを初めて行うことができる。さらに、提案された定式化はSNNアーキテクチャのクラスを公開する。
  論文  参考訳（メタデータ） (2020-07-24T18:10:18Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。