論文の概要: Deep Learning without Weight Symmetry

• arxiv url: http://arxiv.org/abs/2405.20594v2
• Date: Sun, 05 Oct 2025 05:11:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 19:16:49.312489
• Title: Deep Learning without Weight Symmetry
• Title（参考訳）: 重み対称性のないディープラーニング
• Authors: Li Ji-An, Marcus K. Benna,
• Abstract要約: ニューラルネットワークをトレーニングするための基礎的なアルゴリズムであるバックプロパゲーションは、現代のディープラーニングにおいて優位である。 バックプロパゲーションは、クレジットを割り当てる勾配信号を正確に伝播するためにフィードフォワードとフィードバックウェイトの間の正確な対称性に依存する。 プロダクトフィードバックアライメント (Product Feedback Alignment, PFA) アルゴリズムを導入し, 脳内の長年にわたる信用代入の問題を解決する。
• 参考スコア（独自算出の注目度）: 2.3462002656701966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Backpropagation, a foundational algorithm for training artificial neural networks, predominates in contemporary deep learning. Although highly successful, it is widely considered biologically implausible, because it relies on precise symmetry between feedforward and feedback weights to accurately propagate gradient signals that assign credit. The so-called weight transport problem concerns how biological brains learn to align feedforward and feedback paths while avoiding the non-biological transport of feedforward weights into feedback weights. To address this, several credit assignment algorithms, such as feedback alignment and the Kollen-Pollack rule, have been proposed. While they can achieve the desired weight alignment, these algorithms imply that if a neuron sends a feedforward synapse to another neuron, it should also receive an identical or at least partially correlated feedback synapse from the latter neuron, thereby forming a bidirectional connection. However, this idealized connectivity pattern contradicts experimental observations in the brain, a discrepancy we refer to as the weight symmetry problem. To address this challenge posed by considering biological constraints on connectivity, we introduce the Product Feedback Alignment (PFA) algorithm. We demonstrate that PFA can eliminate explicit weight symmetry entirely while closely approximating backpropagation and achieving comparable performance in deep convolutional networks. Our results offer a novel approach to solve the longstanding problem of credit assignment in the brain, leading to more biologically plausible learning in deep networks compared to previous methods.
• Abstract（参考訳）: ニューラルネットワークをトレーニングするための基礎的なアルゴリズムであるバックプロパゲーションは、現代のディープラーニングにおいて優位である。 高い成功にもかかわらず、クレジットを割り当てる勾配信号の正確な伝播にはフィードフォワードとフィードバックの重みの正確な対称性に依存するため、生物学的には不可能であると考えられている。 いわゆるウェイトトランスポート問題は、フィードフォワードウェイトをフィードバックウェイトに非生物学的に輸送することを避けながら、フィードフォワードウェイトとフィードバックパスの整列を学習する方法に関するものである。 これを解決するために、フィードバックアライメントやコレン・ポラック則などの信用割当アルゴリズムが提案されている。 このアルゴリズムは、ニューロンが他のニューロンにフィードフォワードシナプスを送ると、後者のニューロンから同一または少なくとも部分的に相関したフィードバックシナプスを受け取り、双方向の接続を形成することを示唆している。 しかし、この理想化された接続パターンは、我々がウェイト対称性問題と呼ぶ相違点である脳の実験的な観察と矛盾する。 接続性に関する生物学的制約を考慮し,この課題に対処するために,製品フィードバックアライメント(PFA)アルゴリズムを導入する。 深層畳み込みネットワークにおいて, PFAは後方伝播を密接に近似し, 対等な性能を達成しつつ, 比重対称性を完全に排除できることを実証した。 以上の結果から,脳内クレジット代入の長年にわたる課題を解決する新たなアプローチが提案され,従来の方法と比較して,ディープネットワークにおける生物学的に妥当な学習が実現された。

関連論文リスト

• Improving equilibrium propagation without weight symmetry through Jacobian homeostasis [7.573586022424398]
  平衡伝播(EP)は誤りアルゴリズム(BP)のバックプロパゲーションの魅力的な代替手段である EPは、非バイアス勾配を効率的に推定するために、重量対称性と無限小平衡摂動(nudges)を必要とする。 有限ヌッジはコーシー積分を通しても正確な微分を推定できるので、問題が生じないことが示される。 ネットワークの固定点におけるジャコビアンの関数的非対称性を直接緩和する新たなホメオスタティックな目的を提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:20:43Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Correlative Information Maximization: A Biologically Plausible Approach to Supervised Deep Neural Networks without Weight Symmetry [43.584567991256925]
  本稿では,生体神経ネットワークにおける信号伝達を前方方向と後方方向の両方で記述するための新しい規範的アプローチを提案する。 このフレームワークは、従来のニューラルネットワークとバックプロパゲーションアルゴリズムの生物学的評価可能性に関する多くの懸念に対処する。 提案手法は,前方信号伝搬路と後方信号伝搬路の重み対称性問題に対する自然な解法を提供する。
  論文  参考訳（メタデータ） (2023-06-07T22:14:33Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Improving the Backpropagation Algorithm with Consequentialism Weight Updates over Mini-Batches [0.40611352512781856]
  適応フィルタのスタックとして多層ニューラルネットワークを考えることが可能であることを示す。 我々は,BPで発生した行動の悪影響を予測し,その発生前にも予測し,よりよいアルゴリズムを導入する。 我々の実験は、ディープニューラルネットワークのトレーニングにおけるアルゴリズムの有用性を示す。
  論文  参考訳（メタデータ） (2020-03-11T08:45:36Z)
• Semi-Implicit Back Propagation [1.5533842336139065]
  ニューラルネットワークトレーニングのための半単純バック伝搬法を提案する。 ニューロンの差は後方方向に伝播し、パラメータは近位写像で更新される。 MNISTとCIFAR-10の両方の実験により、提案アルゴリズムは損失減少とトレーニング/検証の精度の両方において、より良い性能をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-10T03:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。