論文の概要: Counter-Current Learning: A Biologically Plausible Dual Network Approach for Deep Learning

• arxiv url: http://arxiv.org/abs/2409.19841v1
• Date: Mon, 30 Sep 2024 00:47:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-01 22:08:02.629738
• Title: Counter-Current Learning: A Biologically Plausible Dual Network Approach for Deep Learning
• Title（参考訳）: Counter-Current Learning: ディープラーニングのための生物学的にプラザブルなデュアルネットワークアプローチ
• Authors: Chia-Hsiang Kao, Bharath Hariharan,
• Abstract要約: 生物学的妥当性の欠如が 批判されている 本稿では,ニューラルネットワークにおけるクレジット代入のための生物学的に妥当なフレームワークである対流学習(CCL)を提案する。 我々の研究は、ニューラルネットワークにおける学習と適応の代替メカニズムを提供する、生物学的にインスパイアされた、そして実証可能な学習アルゴリズムの方向性を示す。
• 参考スコア（独自算出の注目度）: 32.122425860826525
• License:
• Abstract: Despite its widespread use in neural networks, error backpropagation has faced criticism for its lack of biological plausibility, suffering from issues such as the backward locking problem and the weight transport problem. These limitations have motivated researchers to explore more biologically plausible learning algorithms that could potentially shed light on how biological neural systems adapt and learn. Inspired by the counter-current exchange mechanisms observed in biological systems, we propose counter-current learning (CCL), a biologically plausible framework for credit assignment in neural networks. This framework employs a feedforward network to process input data and a feedback network to process targets, with each network enhancing the other through anti-parallel signal propagation. By leveraging the more informative signals from the bottom layer of the feedback network to guide the updates of the top layer of the feedforward network and vice versa, CCL enables the simultaneous transformation of source inputs to target outputs and the dynamic mutual influence of these transformations. Experimental results on MNIST, FashionMNIST, CIFAR10, and CIFAR100 datasets using multi-layer perceptrons and convolutional neural networks demonstrate that CCL achieves comparable performance to other biologically plausible algorithms while offering a more biologically realistic learning mechanism. Furthermore, we showcase the applicability of our approach to an autoencoder task, underscoring its potential for unsupervised representation learning. Our work presents a direction for biologically inspired and plausible learning algorithms, offering an alternative mechanisms of learning and adaptation in neural networks.
• Abstract（参考訳）: ニューラルネットワークで広く使われているにもかかわらず、エラーのバックプロパゲーションは生物学的な妥当性の欠如を批判され、後方ロック問題や重量輸送問題といった問題に悩まされている。 これらの制限により、研究者たちはより生物学的に妥当な学習アルゴリズムを探求し、生物学的神経システムがどのように適応し、学習するかについて光を当てる可能性がある。 生体システムで観測される対流交換機構に着想を得て,ニューラルネットワークにおける信用代入のための生物学的に妥当なフレームワークである対流学習(CCL)を提案する。 このフレームワークは、入力データを処理するフィードフォワードネットワークと、ターゲットを処理するフィードバックネットワークを使用し、各ネットワークは反並列信号の伝搬を通じて互いに強化する。 フィードバックネットワークの下位層からのより情報的な信号を利用してフィードフォワードネットワークの上位層の更新を誘導し、その逆の逆で、CCLはソース入力の同時変換を目標出力への変換とこれらの変換の動的相互影響を可能にする。 MNIST、FashionMNIST、CIFAR10、CIFAR100データセットの多層パーセプトロンと畳み込みニューラルネットワークによる実験結果は、CCLがより生物学的に現実的な学習メカニズムを提供しながら、他の生物学的にもっとも有効なアルゴリズムと同等のパフォーマンスを達成することを示した。 さらに、自動エンコーダタスクへのアプローチの適用性を示し、教師なし表現学習の可能性を示す。 我々の研究は、ニューラルネットワークにおける学習と適応の代替メカニズムを提供する、生物学的にインスパイアされた、そして実証可能な学習アルゴリズムの方向性を示す。

関連論文リスト

• Towards Biologically Plausible Computing: A Comprehensive Comparison [24.299920289520013]
  バックプロパゲーションは、教師あり学習のためのニューラルネットワークのトレーニングの基盤となるアルゴリズムである。 バックプロパゲーションの生物学的妥当性は、重量対称性、大域的誤差計算、二重位相学習の要求により疑問視される。 本研究では,望ましい学習アルゴリズムが満たすべき生物学的妥当性の基準を確立する。
  論文  参考訳（メタデータ） (2024-06-23T09:51:20Z)
• CHANI: Correlation-based Hawkes Aggregation of Neurons with bio-Inspiration [7.26259898628108]
  本研究の目的は,生物学にインスパイアされたニューラルネットワークが,局所的な変換のみによって分類タスクを学習できることを数学的に証明することである。 我々は、ホークス過程によってニューロンの活動がモデル化されるCHANIというスパイクニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T07:17:58Z)
• Brain-Inspired Machine Intelligence: A Survey of Neurobiologically-Plausible Credit Assignment [65.268245109828]
  本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。 我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。 本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
  論文  参考訳（メタデータ） (2023-12-01T05:20:57Z)
• Contrastive-Signal-Dependent Plasticity: Forward-Forward Learning of Spiking Neural Systems [73.18020682258606]
  我々は、ニューロンの個々の層が並列に機能する、スパイキングニューロンユニットからなる神経模倣アーキテクチャを開発する。 コントラスト信号依存塑性(CSDP)と呼ばれるイベントベース前方学習の一般化を提案する。 いくつかのパターンデータセットに対する実験結果から,CSDPプロセスは分類と再構成の両方が可能な動的再帰スパイクネットワークのトレーニングに有効であることが示された。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• The Predictive Forward-Forward Algorithm [79.07468367923619]
  本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。 我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。 PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
  論文  参考訳（メタデータ） (2023-01-04T05:34:48Z)
• Functional Connectome: Approximating Brain Networks with Artificial Neural Networks [1.952097552284465]
  訓練されたディープニューラルネットワークは、合成生物学的ネットワークによって実行される計算を高精度に捉えることができることを示す。 訓練されたディープニューラルネットワークは、新しい環境でゼロショットの一般化を実行可能であることを示す。 本研究は, システム神経科学における新規かつ有望な方向性を明らかにする。
  論文  参考訳（メタデータ） (2022-11-23T13:12:13Z)
• Biologically Plausible Training of Deep Neural Networks Using a Top-down Credit Assignment Network [32.575847142016585]
  トップダウン・クレジット・アサインメント・ネットワーク(TDCA-network)は、トップダウン・クレジット・アサインメント・ネットワーク(TDCA-network)を用いてボトムアップ・ネットワークを訓練するように設計されている。 TDCAネットワークは、ニューラルネットワークトレーニングで広く使われている従来の損失関数とバックプロパゲーションアルゴリズムの代用として機能する。 その結果、TDCA-networkは様々なデータセットでニューラルネットワークをトレーニングする有望な可能性を示唆している。
  論文  参考訳（メタデータ） (2022-08-01T07:14:37Z)
• Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
  ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。 我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。 DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:06:21Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Learning in Deep Neural Networks Using a Biologically Inspired Optimizer [5.144809478361604]
  人工神経(ANN)とスパイクニューラルネット(SNN)にインスパイアされた新しい生物モデルを提案する。 GRAPESは、ニューラルネットワークの各ノードにおけるエラー信号の重量分布依存変調を実装している。 生物学的にインスパイアされたこのメカニズムは,ネットワークの収束率を体系的に改善し,ANNやSNNの分類精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2021-04-23T13:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。