論文の概要: Investigating the Scalability and Biological Plausibility of the
Activation Relaxation Algorithm
- arxiv url: http://arxiv.org/abs/2010.06219v1
- Date: Tue, 13 Oct 2020 08:02:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 22:28:34.529651
- Title: Investigating the Scalability and Biological Plausibility of the
Activation Relaxation Algorithm
- Title（参考訳）: アクティベーション緩和アルゴリズムのスケーラビリティと生物学的可視性の検討
- Authors: Beren Millidge, Alexander Tschantz, Anil Seth, Christopher L Buckley
- Abstract要約: アクティベーション・リラクシエーション(AR)アルゴリズムは、誤りアルゴリズムのバックプロパゲーションを近似するためのシンプルでロバストなアプローチを提供する。
このアルゴリズムは、学習可能な後方重みセットを導入することにより、さらに単純化され、生物学的に検証可能であることを示す。
また、元のARアルゴリズム(凍結フィードフォワードパス)の別の生物学的に信じられない仮定が、パフォーマンスを損なうことなく緩和できるかどうかについても検討する。
- 参考スコア（独自算出の注目度）: 62.997667081978825
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recently proposed Activation Relaxation (AR) algorithm provides a simple
and robust approach for approximating the backpropagation of error algorithm
using only local learning rules. Unlike competing schemes, it converges to the
exact backpropagation gradients, and utilises only a single type of
computational unit and a single backwards relaxation phase. We have previously
shown that the algorithm can be further simplified and made more biologically
plausible by (i) introducing a learnable set of backwards weights, which
overcomes the weight-transport problem, and (ii) avoiding the computation of
nonlinear derivatives at each neuron. However, tthe efficacy of these
simplifications has, so far, only been tested on simple multi-layer-perceptron
(MLP) networks. Here, we show that these simplifications still maintain
performance using more complex CNN architectures and challenging datasets,
which have proven difficult for other biologically-plausible schemes to scale
to. We also investigate whether another biologically implausible assumption of
the original AR algorithm -- the frozen feedforward pass -- can be relaxed
without damaging performance.
- Abstract（参考訳）: 最近提案された Activation Relaxation (AR) アルゴリズムは、局所学習ルールのみを用いてエラーアルゴリズムのバックプロパゲーションを近似するための単純で堅牢なアプローチを提供する。
競合するスキームとは異なり、正確なバックプロパゲーション勾配に収束し、単一の種類の計算ユニットと単一の後方緩和フェーズのみを利用する。
我々は以前, このアルゴリズムをさらに単純化し, 生物学的に有理化できることを実証してきた。
(i)重量輸送問題を克服した学習可能な後方重みの組を導入すること、
(ii)各ニューロンにおける非線形微分の計算を避けること。
しかしながら、これらの単純化の有効性は、これまでのところ、単純なマルチレイヤー・パーセプトロン(mlp)ネットワークでのみテストされてきた。
ここでは、より複雑なCNNアーキテクチャと挑戦的なデータセットを使用して、これらの単純化が依然としてパフォーマンスを維持していることを示す。
また、元のarアルゴリズムの他の生物学的に予測できない仮定 -- 凍結フィードフォワードパス -- が性能を損なうことなく緩和できるかどうかについても検討した。
関連論文リスト
- A Sample Efficient Alternating Minimization-based Algorithm For Robust Phase Retrieval [56.67706781191521]
そこで本研究では,未知の信号の復元を課題とする,ロバストな位相探索問題を提案する。
提案するオラクルは、単純な勾配ステップと外れ値を用いて、計算学的スペクトル降下を回避している。
論文 参考訳（メタデータ） (2024-09-07T06:37:23Z) - Precise asymptotics of reweighted least-squares algorithms for linear diagonal networks [15.074950361970194]
我々は、IRLS、最近提案されたリンリン-RFMアルゴリズム、交互対角ニューラルネットワークを含むアルゴリズム群を統一的に分析する。
適切に選択された再重み付けポリシーにより、少数のスパース構造が良好な性能が得られることを示す。
また、これを再重み付け方式で活用することで、座標ワイド再重み付けよりもテスト誤差が良好に向上することを示す。
論文 参考訳（メタデータ） (2024-06-04T20:37:17Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳（メタデータ） (2023-03-17T02:01:11Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳（メタデータ） (2022-08-11T22:27:22Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳（メタデータ） (2022-06-01T23:26:51Z) - Gradient-Based Learning of Discrete Structured Measurement Operators for
Signal Recovery [16.740247586153085]
本稿では、勾配に基づく学習を利用して離散最適化問題を解く方法について述べる。
GLODISMO (Gradient-based Learning of DIscrete Structured Measurement Operators) によるアプローチの定式化
いくつかの信号回復アプリケーションにおいて,GLODISMOの性能と柔軟性を実証的に示す。
論文 参考訳（メタデータ） (2022-02-07T18:27:08Z) - Revisiting Recursive Least Squares for Training Deep Neural Networks [10.44340837533087]
再帰最小二乗法(RLS)アルゴリズムは、その高速収束のため、かつては小規模ニューラルネットワークのトレーニングに広く用いられていた。
従来のRSSアルゴリズムは、計算複雑性が高く、事前条件が多すぎるため、ディープニューラルネットワーク(DNN)のトレーニングには適さない。
本稿では,フィードフォワードニューラルネットワーク,畳み込みニューラルネットワーク,リカレントニューラルネットワークの3つの新しいRSS最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-07T17:43:51Z) - Activation Relaxation: A Local Dynamical Approximation to
Backpropagation in the Brain [62.997667081978825]
活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。
我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
論文 参考訳（メタデータ） (2020-09-11T11:56:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。