論文の概要: Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain

• arxiv url: http://arxiv.org/abs/2009.05359v5
• Date: Sat, 10 Oct 2020 14:16:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 20:43:04.740757
• Title: Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain
• Title（参考訳）: 活性化緩和:脳のバックプロパゲーションに対する局所的動的近似
• Authors: Beren Millidge, Alexander Tschantz, Anil K Seth, Christopher L Buckley
• Abstract要約: 活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
• 参考スコア（独自算出の注目度）: 62.997667081978825
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The backpropagation of error algorithm (backprop) has been instrumental in the recent success of deep learning. However, a key question remains as to whether backprop can be formulated in a manner suitable for implementation in neural circuitry. The primary challenge is to ensure that any candidate formulation uses only local information, rather than relying on global signals as in standard backprop. Recently several algorithms for approximating backprop using only local signals have been proposed. However, these algorithms typically impose other requirements which challenge biological plausibility: for example, requiring complex and precise connectivity schemes, or multiple sequential backwards phases with information being stored across phases. Here, we propose a novel algorithm, Activation Relaxation (AR), which is motivated by constructing the backpropagation gradient as the equilibrium point of a dynamical system. Our algorithm converges rapidly and robustly to the correct backpropagation gradients, requires only a single type of computational unit, utilises only a single parallel backwards relaxation phase, and can operate on arbitrary computation graphs. We illustrate these properties by training deep neural networks on visual classification tasks, and describe simplifications to the algorithm which remove further obstacles to neurobiological implementation (for example, the weight-transport problem, and the use of nonlinear derivatives), while preserving performance.
• Abstract（参考訳）: 誤りアルゴリズム(バックプロップ)のバックプロパゲーションは、近年のディープラーニングの成功に役立っている。 しかし、神経回路の実装に適した方法でバックプロップを定式化できるかどうかについては、重要な疑問が残る。 主な課題は、任意の候補定式化が標準バックプロップのようにグローバル信号に頼るのではなく、ローカル情報のみを使用するようにすることである。 近年,局所信号のみを用いたバックプロップ近似アルゴリズムが提案されている。 しかし、これらのアルゴリズムは通常、生物学的な可能性に挑戦する他の要件を課す:例えば、複雑で正確な接続スキームを必要とするか、位相間で情報を格納する複数のシーケンシャルな後方位相である。 本稿では,動的システムの平衡点としてバックプロパゲーション勾配を構成することによって動機付ける,新しいアルゴリズム Activation Relaxation (AR) を提案する。 提案アルゴリズムは, 逆伝播勾配に高速かつ頑健に収束し, 1種類の計算単位のみを必要とし, 単一の並列逆緩和位相しか利用せず, 任意の計算グラフ上で動作可能である。 これらの特性を,視覚分類タスクで深層ニューラルネットワークを訓練し,神経生物学的実装(例えば,重み輸送問題や非線形導関数の使用)に対するさらなる障害を取り除くアルゴリズムの単純化を,性能を維持しながら記述する。

関連論文リスト

• Accelerated First-Order Optimization under Nonlinear Constraints [97.16266088683061]
  制約付きFrankWolf-e-eに対して,高速化された1次アルゴリズムの新たなクラスを設計する。 これらのアルゴリズムの重要な性質は制約の数である。 我々は,非制約を効率的に扱えるとともに,最先端のパフォーマンスを$ellp1$で回復できることを示す。
  論文  参考訳（メタデータ） (2023-02-01T08:50:48Z)
• The Predictive Forward-Forward Algorithm [79.07468367923619]
  本稿では,予測フォワード(PFF)アルゴリズムと呼ぶ,フォワードフォワード(FF)アルゴリズムの一般化を提案する。 我々は,表現回路と同時かつ同時に有向生成回路を学習する動的再帰型ニューラルネットワークを設計する。 PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
  論文  参考訳（メタデータ） (2023-01-04T05:34:48Z)
• Revisiting Recursive Least Squares for Training Deep Neural Networks [10.44340837533087]
  再帰最小二乗法(RLS)アルゴリズムは、その高速収束のため、かつては小規模ニューラルネットワークのトレーニングに広く用いられていた。 従来のRSSアルゴリズムは、計算複雑性が高く、事前条件が多すぎるため、ディープニューラルネットワーク(DNN)のトレーニングには適さない。 本稿では,フィードフォワードニューラルネットワーク,畳み込みニューラルネットワーク,リカレントニューラルネットワークの3つの新しいRSS最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-07T17:43:51Z)
• Convolutional Sparse Coding Fast Approximation with Application to Seismic Reflectivity Estimation [9.005280130480308]
  2～5回の反復で畳み込みスパース符号の良好な近似を生成する古典的反復しきい値アルゴリズムの高速化版を提案する。 提案手法の性能は, 合成シナリオと実データシナリオの両方において, 地震インバージョン問題によって実証される。
  論文  参考訳（メタデータ） (2021-06-29T12:19:07Z)
• Investigating the Scalability and Biological Plausibility of the Activation Relaxation Algorithm [62.997667081978825]
  アクティベーション・リラクシエーション(AR)アルゴリズムは、誤りアルゴリズムのバックプロパゲーションを近似するためのシンプルでロバストなアプローチを提供する。 このアルゴリズムは、学習可能な後方重みセットを導入することにより、さらに単純化され、生物学的に検証可能であることを示す。 また、元のARアルゴリズム(凍結フィードフォワードパス)の別の生物学的に信じられない仮定が、パフォーマンスを損なうことなく緩和できるかどうかについても検討する。
  論文  参考訳（メタデータ） (2020-10-13T08:02:38Z)
• Accelerated Message Passing for Entropy-Regularized MAP Inference [89.15658822319928]
  離散値のランダムフィールドにおけるMAP推論の最大化は、機械学習の基本的な問題である。 この問題の難しさから、特殊メッセージパッシングアルゴリズムの導出には線形プログラミング(LP)緩和が一般的である。 古典的加速勾配の根底にある手法を活用することにより,これらのアルゴリズムを高速化するランダム化手法を提案する。
  論文  参考訳（メタデータ） (2020-07-01T18:43:32Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• Improving the Backpropagation Algorithm with Consequentialism Weight Updates over Mini-Batches [0.40611352512781856]
  適応フィルタのスタックとして多層ニューラルネットワークを考えることが可能であることを示す。 我々は,BPで発生した行動の悪影響を予測し,その発生前にも予測し,よりよいアルゴリズムを導入する。 我々の実験は、ディープニューラルネットワークのトレーニングにおけるアルゴリズムの有用性を示す。
  論文  参考訳（メタデータ） (2020-03-11T08:45:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。