論文の概要: Deep Learning without Weight Symmetry

• arxiv url: http://arxiv.org/abs/2405.20594v1
• Date: Fri, 31 May 2024 03:11:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 15:36:24.194924
• Title: Deep Learning without Weight Symmetry
• Title（参考訳）: 重み対称性のないディープラーニング
• Authors: Li Ji-An, Marcus K. Benna,
• Abstract要約: バックプロパゲーション(BP)は、ニューラルネットワークをトレーニングするための基礎アルゴリズムである。 BPはしばしば生物学的に不溶であると考えられている。 ここでは、製品フィードバックアライメント(PFA)アルゴリズムを紹介する。
• 参考スコア（独自算出の注目度）: 1.3812010983144802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Backpropagation (BP), a foundational algorithm for training artificial neural networks, predominates in contemporary deep learning. Although highly successful, it is often considered biologically implausible. A significant limitation arises from the need for precise symmetry between connections in the backward and forward pathways to backpropagate gradient signals accurately, which is not observed in biological brains. Researchers have proposed several algorithms to alleviate this symmetry constraint, such as feedback alignment and direct feedback alignment. However, their divergence from backpropagation dynamics presents challenges, particularly in deeper networks and convolutional layers. Here we introduce the Product Feedback Alignment (PFA) algorithm. Our findings demonstrate that PFA closely approximates BP and achieves comparable performance in deep convolutional networks while avoiding explicit weight symmetry. Our results offer a novel solution to the longstanding weight symmetry problem, leading to more biologically plausible learning in deep convolutional networks compared to earlier methods.
• Abstract（参考訳）: ニューラルネットワークをトレーニングするための基礎アルゴリズムであるバックプロパゲーション(BP)は、現代のディープラーニングにおいて優位である。 非常に成功しているが、しばしば生物学的には不可能であると考えられている。 顕著な制限は、生物学的脳では観測されない勾配信号のバックプロパゲートのために、後方経路と前方経路の接続間の正確な対称性の必要性から生じる。 研究者は、フィードバックアライメントや直接フィードバックアライメントなど、この対称性の制約を緩和するアルゴリズムをいくつか提案している。 しかしながら、バックプロパゲーションダイナミクスからの分岐は、特に深いネットワークや畳み込み層において課題を呈している。 ここでは、製品フィードバックアライメント(PFA)アルゴリズムを紹介する。 以上の結果から,PFAはBPを近似し,明らかな重み対称性を回避しつつ,深い畳み込みネットワークにおいて同等の性能を発揮することが明らかとなった。 以上の結果から, 従来の手法と比較して, 深層畳み込みネットワークにおいて, より生物学的に妥当な学習につながることが示唆された。

関連論文リスト

• Improving equilibrium propagation without weight symmetry through Jacobian homeostasis [7.573586022424398]
  平衡伝播(EP)は誤りアルゴリズム(BP)のバックプロパゲーションの魅力的な代替手段である EPは、非バイアス勾配を効率的に推定するために、重量対称性と無限小平衡摂動(nudges)を必要とする。 有限ヌッジはコーシー積分を通しても正確な微分を推定できるので、問題が生じないことが示される。 ネットワークの固定点におけるジャコビアンの関数的非対称性を直接緩和する新たなホメオスタティックな目的を提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:20:43Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Correlative Information Maximization: A Biologically Plausible Approach to Supervised Deep Neural Networks without Weight Symmetry [43.584567991256925]
  本稿では,生体神経ネットワークにおける信号伝達を前方方向と後方方向の両方で記述するための新しい規範的アプローチを提案する。 このフレームワークは、従来のニューラルネットワークとバックプロパゲーションアルゴリズムの生物学的評価可能性に関する多くの懸念に対処する。 提案手法は,前方信号伝搬路と後方信号伝搬路の重み対称性問題に対する自然な解法を提供する。
  論文  参考訳（メタデータ） (2023-06-07T22:14:33Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Improving the Backpropagation Algorithm with Consequentialism Weight Updates over Mini-Batches [0.40611352512781856]
  適応フィルタのスタックとして多層ニューラルネットワークを考えることが可能であることを示す。 我々は,BPで発生した行動の悪影響を予測し,その発生前にも予測し,よりよいアルゴリズムを導入する。 我々の実験は、ディープニューラルネットワークのトレーニングにおけるアルゴリズムの有用性を示す。
  論文  参考訳（メタデータ） (2020-03-11T08:45:36Z)
• Semi-Implicit Back Propagation [1.5533842336139065]
  ニューラルネットワークトレーニングのための半単純バック伝搬法を提案する。 ニューロンの差は後方方向に伝播し、パラメータは近位写像で更新される。 MNISTとCIFAR-10の両方の実験により、提案アルゴリズムは損失減少とトレーニング/検証の精度の両方において、より良い性能をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-10T03:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。