論文の概要: Correlative Information Maximization: A Biologically Plausible Approach
to Supervised Deep Neural Networks without Weight Symmetry
- arxiv url: http://arxiv.org/abs/2306.04810v3
- Date: Tue, 17 Oct 2023 11:32:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 21:19:34.291684
- Title: Correlative Information Maximization: A Biologically Plausible Approach
to Supervised Deep Neural Networks without Weight Symmetry
- Title（参考訳）: 相関情報最大化:重み対称性のない深層ニューラルネットワークに対する生物学的にプラザブルなアプローチ
- Authors: Bariscan Bozkurt, Cengiz Pehlevan, Alper T Erdogan
- Abstract要約: 本稿では,生体神経ネットワークにおける信号伝達を前方方向と後方方向の両方で記述するための新しい規範的アプローチを提案する。
このフレームワークは、従来のニューラルネットワークとバックプロパゲーションアルゴリズムの生物学的評価可能性に関する多くの懸念に対処する。
提案手法は,前方信号伝搬路と後方信号伝搬路の重み対称性問題に対する自然な解法を提供する。
- 参考スコア（独自算出の注目度）: 43.584567991256925
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The backpropagation algorithm has experienced remarkable success in training
large-scale artificial neural networks; however, its biological plausibility
has been strongly criticized, and it remains an open question whether the brain
employs supervised learning mechanisms akin to it. Here, we propose correlative
information maximization between layer activations as an alternative normative
approach to describe the signal propagation in biological neural networks in
both forward and backward directions. This new framework addresses many
concerns about the biological-plausibility of conventional artificial neural
networks and the backpropagation algorithm. The coordinate descent-based
optimization of the corresponding objective, combined with the mean square
error loss function for fitting labeled supervision data, gives rise to a
neural network structure that emulates a more biologically realistic network of
multi-compartment pyramidal neurons with dendritic processing and lateral
inhibitory neurons. Furthermore, our approach provides a natural resolution to
the weight symmetry problem between forward and backward signal propagation
paths, a significant critique against the plausibility of the conventional
backpropagation algorithm. This is achieved by leveraging two alternative, yet
equivalent forms of the correlative mutual information objective. These
alternatives intrinsically lead to forward and backward prediction networks
without weight symmetry issues, providing a compelling solution to this
long-standing challenge.
- Abstract（参考訳）: バックプロパゲーションアルゴリズムは、大規模ニューラルネットワークのトレーニングで顕著な成功を収めているが、その生物学的な可能性を強く批判されており、脳がそれに似た教師付き学習機構を使用しているかどうかという疑問が残されている。
本稿では,生体神経ネットワークにおける信号伝達を前方方向と後方方向の両方で記述する手法として,レイヤアクティベーション間の相関情報最大化を提案する。
この新しいフレームワークは、従来のニューラルネットワークとバックプロパゲーションアルゴリズムの生物学的可視性に関する多くの懸念に対処する。
対応する目的の座標降下に基づく最適化は、ラベル付き監督データを取り付ける平均二乗誤差損失関数と組み合わせられ、樹状処理と側方抑制ニューロンによるマルチコンパートメント錐体ニューロンのより生物学的に現実的なネットワークをエミュレートするニューラルネットワーク構造をもたらす。
さらに,本手法は,前方および後方の信号伝搬経路間の重み対称性問題に対する自然な解決法であり,従来のバックプロパゲーションアルゴリズムの可能性に対する重要な批判である。
これは、相関的な相互情報目的の2つの代替形式を活用することで達成される。
これらの代替案は本質的に重量対称性の問題のない前方および後方予測ネットワークに導かれ、この長年の課題に対する説得力のある解決策となった。
関連論文リスト
- Deep Learning without Weight Symmetry [1.3812010983144802]
バックプロパゲーション(BP)は、ニューラルネットワークをトレーニングするための基礎アルゴリズムである。
BPはしばしば生物学的に不溶であると考えられている。
ここでは、製品フィードバックアライメント(PFA)アルゴリズムを紹介する。
論文 参考訳（メタデータ） (2024-05-31T03:11:19Z) - Seeking Next Layer Neurons' Attention for Error-Backpropagation-Like
Training in a Multi-Agent Network Framework [6.446189857311325]
本研究は, ニューロンの局所的な目的として, エラーのバックプロパゲーションと類似性を示すことを提案する。
本研究では,局所的な目的を最大化するために,自律神経系と自律神経系を組み合わせたニューラルネットワークについて検討する。
3つのデータセットの実験を通して、これらのマルチエージェントニューラルネットワークの学習能力を実証する。
論文 参考訳（メタデータ） (2023-10-15T21:07:09Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Cycle Consistency-based Uncertainty Quantification of Neural Networks in
Inverse Imaging Problems [10.992084413881592]
ディープニューラルネットワークの多くの応用には不確実性推定が不可欠である。
サイクル整合性に基づく逆問題に使用されるディープニューラルネットワークに対する不確実性定量化手法を示す。
論文 参考訳（メタデータ） (2023-05-22T09:23:18Z) - Convergence Guarantees of Overparametrized Wide Deep Inverse Prior [1.5362025549031046]
逆優先法(Inverse Priors)は、ランダムな入力をフォワードモデルの下で画像が観察に一致するオブジェクトに変換する、教師なしのアプローチである。
本研究では, 連続時間勾配勾配勾配からトレーニングしたネットワークが, 高確率で指数関数的に高速に収束するオーバーパラメトリゼーション境界を提供する。
この研究は、過度にパラメータ化されたDIPネットワークの理論的理解への第一歩であり、より広い範囲で、逆問題設定におけるニューラルネットワークの理論的理解に関与している。
論文 参考訳（メタデータ） (2023-03-20T16:49:40Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - Generalization bound of globally optimal non-convex neural network
training: Transportation map estimation by infinite dimensional Langevin
dynamics [50.83356836818667]
本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。
ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
論文 参考訳（メタデータ） (2020-07-11T18:19:50Z) - Predictive coding in balanced neural networks with noise, chaos and
delays [24.76770648963407]
本稿では,バランスの度合いと重み障害の度合いを関連付けることができるバランス予測符号化モデルを提案する。
我々の研究は、神経ノイズ、シナプス障害、カオス、シナプス遅延、予測ニューラルコードの忠実さとのバランスを識別するための一般的な理論的枠組みを提供し、解決する。
論文 参考訳（メタデータ） (2020-06-25T05:03:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。