論文の概要: Deep Learning without Weight Symmetry

• arxiv url: http://arxiv.org/abs/2405.20594v1
• Date: Fri, 31 May 2024 03:11:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-06-03 15:36:24.194924
• Title: Deep Learning without Weight Symmetry
• Title（参考訳）: 重み対称性のないディープラーニング
• Authors: Li Ji-An, Marcus K. Benna,
• Abstract要約: バックプロパゲーション(BP)は、ニューラルネットワークをトレーニングするための基礎アルゴリズムである。 BPはしばしば生物学的に不溶であると考えられている。 ここでは、製品フィードバックアライメント(PFA)アルゴリズムを紹介する。
• 参考スコア（独自算出の注目度）: 1.3812010983144802
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Backpropagation (BP), a foundational algorithm for training artificial neural networks, predominates in contemporary deep learning. Although highly successful, it is often considered biologically implausible. A significant limitation arises from the need for precise symmetry between connections in the backward and forward pathways to backpropagate gradient signals accurately, which is not observed in biological brains. Researchers have proposed several algorithms to alleviate this symmetry constraint, such as feedback alignment and direct feedback alignment. However, their divergence from backpropagation dynamics presents challenges, particularly in deeper networks and convolutional layers. Here we introduce the Product Feedback Alignment (PFA) algorithm. Our findings demonstrate that PFA closely approximates BP and achieves comparable performance in deep convolutional networks while avoiding explicit weight symmetry. Our results offer a novel solution to the longstanding weight symmetry problem, leading to more biologically plausible learning in deep convolutional networks compared to earlier methods.
• Abstract（参考訳）: ニューラルネットワークをトレーニングするための基礎アルゴリズムであるバックプロパゲーション(BP)は、現代のディープラーニングにおいて優位である。 非常に成功しているが、しばしば生物学的には不可能であると考えられている。 顕著な制限は、生物学的脳では観測されない勾配信号のバックプロパゲートのために、後方経路と前方経路の接続間の正確な対称性の必要性から生じる。 研究者は、フィードバックアライメントや直接フィードバックアライメントなど、この対称性の制約を緩和するアルゴリズムをいくつか提案している。 しかしながら、バックプロパゲーションダイナミクスからの分岐は、特に深いネットワークや畳み込み層において課題を呈している。 ここでは、製品フィードバックアライメント(PFA)アルゴリズムを紹介する。 以上の結果から,PFAはBPを近似し,明らかな重み対称性を回避しつつ,深い畳み込みネットワークにおいて同等の性能を発揮することが明らかとなった。 以上の結果から, 従来の手法と比較して, 深層畳み込みネットワークにおいて, より生物学的に妥当な学習につながることが示唆された。

関連論文リスト

• Weight transport through spike timing for robust local gradients [0.5236468296934584]
  機能的ニューラルネットワークの可塑性は、しばしばコストの勾配降下として表される。 これにより、局所的な計算との整合が難しい対称性の制約が課される。 本稿では、スパイクタイミング統計を用いて、効果的な相互接続間の非対称性を抽出し、補正するスパイクベースのアライメント学習を提案する。
  論文  参考訳（メタデータ） (2025-03-04T14:05:39Z)
• Improving equilibrium propagation without weight symmetry through Jacobian homeostasis [7.573586022424398]
  平衡伝播(EP)は誤りアルゴリズム(BP)のバックプロパゲーションの魅力的な代替手段である EPは、非バイアス勾配を効率的に推定するために、重量対称性と無限小平衡摂動(nudges)を必要とする。 有限ヌッジはコーシー積分を通しても正確な微分を推定できるので、問題が生じないことが示される。 ネットワークの固定点におけるジャコビアンの関数的非対称性を直接緩和する新たなホメオスタティックな目的を提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:20:43Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Correlative Information Maximization: A Biologically Plausible Approach to Supervised Deep Neural Networks without Weight Symmetry [43.584567991256925]
  本稿では,生体神経ネットワークにおける信号伝達を前方方向と後方方向の両方で記述するための新しい規範的アプローチを提案する。 このフレームワークは、従来のニューラルネットワークとバックプロパゲーションアルゴリズムの生物学的評価可能性に関する多くの懸念に対処する。 提案手法は,前方信号伝搬路と後方信号伝搬路の重み対称性問題に対する自然な解法を提供する。
  論文  参考訳（メタデータ） (2023-06-07T22:14:33Z)
• Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing [58.401504709365284]
  非畳み込みニューラルネットワークの重み類似度を定量化できる重み類似度尺度を提案する。 まず,ニューラルネットワークの重みをチェーン正規化規則により正規化し,重み訓練表現学習を導入する。 ニューラルネットワークの重み類似性に関する仮説を検証するため,従来の仮説検証手法を拡張した。
  論文  参考訳（メタデータ） (2022-08-08T19:11:03Z)
• Minimizing Control for Credit Assignment with Strong Feedback [65.59995261310529]
  ディープニューラルネットワークにおける勾配に基づくクレジット割り当ての現在の手法は、無限小のフィードバック信号を必要とする。 我々は、神経活動に対する強いフィードバックと勾配に基づく学習を組み合わせることで、ニューラルネットワークの最適化に関する新たな視点を自然に導き出すことを示す。 DFCにおける強いフィードバックを用いることで、空間と時間において完全に局所的な学習規則を用いることで、前向きとフィードバックの接続を同時に学習できることを示す。
  論文  参考訳（メタデータ） (2022-04-14T22:06:21Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Convergence and Alignment of Gradient Descentwith Random Back propagation Weights [6.338178373376447]
  バックプロパゲーションによる勾配降下は 人工ニューラルネットワークの 働き方です Lillicrapらは、ランダムなバックプロパゲーションと固定されたバックプロパゲーションの重みを利用する、生物学的にもっともらしい「フィードバックアライメント」アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-10T20:58:05Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)
• Improving the Backpropagation Algorithm with Consequentialism Weight Updates over Mini-Batches [0.40611352512781856]
  適応フィルタのスタックとして多層ニューラルネットワークを考えることが可能であることを示す。 我々は,BPで発生した行動の悪影響を予測し,その発生前にも予測し,よりよいアルゴリズムを導入する。 我々の実験は、ディープニューラルネットワークのトレーニングにおけるアルゴリズムの有用性を示す。
  論文  参考訳（メタデータ） (2020-03-11T08:45:36Z)
• Overcoming the Weight Transport Problem via Spike-Timing-Dependent Weight Inference [9.948484577581796]
  スパイクタイミングのみを用いることは、スパイクニューラルネットワークモデルにおけるシナプス重み推定において、既存の生物学的に妥当な手法よりも優れていることを示す。 提案手法はより柔軟で、スパイクニューロンモデルに適用可能であり、実装に必要なパラメータの数に保守的であり、最小限の計算オーバーヘッドでオンラインファッションに展開できる。
  論文  参考訳（メタデータ） (2020-03-09T09:26:23Z)
• Semi-Implicit Back Propagation [1.5533842336139065]
  ニューラルネットワークトレーニングのための半単純バック伝搬法を提案する。 ニューロンの差は後方方向に伝播し、パラメータは近位写像で更新される。 MNISTとCIFAR-10の両方の実験により、提案アルゴリズムは損失減少とトレーニング/検証の精度の両方において、より良い性能をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-10T03:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。