論文の概要: Understanding and Improving Optimization in Predictive Coding Networks
- arxiv url: http://arxiv.org/abs/2305.13562v1
- Date: Tue, 23 May 2023 00:32:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 19:59:46.893511
- Title: Understanding and Improving Optimization in Predictive Coding Networks
- Title（参考訳）: 予測符号化ネットワークにおける最適化の理解と改善
- Authors: Nick Alonso, Jeff Krichmar, Emre Neftci
- Abstract要約: 推論学習アルゴリズム(IL)は、バックプロパゲーション(BP)に代わる有望で、生物学的に証明可能な代替品である
ILは計算的に要求され、Adamのようなメモリ集約がなければ、ILはローカルのミニマに収束する可能性がある。
ILはBPよりも早く損失を減少させることができるが、これらのスピードアップやロバスト性の原因は不明である。
- 参考スコア（独自算出の注目度）: 1.6114012813668934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Backpropagation (BP), the standard learning algorithm for artificial neural
networks, is often considered biologically implausible. In contrast, the
standard learning algorithm for predictive coding (PC) models in neuroscience,
known as the inference learning algorithm (IL), is a promising, bio-plausible
alternative. However, several challenges and questions hinder IL's application
to real-world problems. For example, IL is computationally demanding, and
without memory-intensive optimizers like Adam, IL may converge to poor local
minima. Moreover, although IL can reduce loss more quickly than BP, the reasons
for these speedups or their robustness remains unclear. In this paper, we
tackle these challenges by 1) altering the standard implementation of PC
circuits to substantially reduce computation, 2) developing a novel optimizer
that improves the convergence of IL without increasing memory usage, and 3)
establishing theoretical results that help elucidate the conditions under which
IL is sensitive to second and higher-order information.
- Abstract（参考訳）: ニューラルネットワークの標準学習アルゴリズムであるバックプロパゲーション(bp)は、しばしば生物学的に有望ではないと考えられている。
対照的に、推論学習アルゴリズム(IL)として知られる神経科学における予測符号化(PC)モデルのための標準的な学習アルゴリズムは、有望で生物学的に有望な代替手段である。
しかし、いくつかの課題や疑問がILの現実の問題への応用を妨げる。
例えば、ilは計算上必要であり、adamのようなメモリ集約型オプティマイザがなければ、ilは貧弱なローカルミニマに収束する可能性がある。
さらに、ilはbpよりも早く損失を減らすことができるが、これらのスピードアップの理由や堅牢性はいまだに不明である。
本稿では,これらの課題に対処する。
1)PC回路の標準実装を変更して計算を大幅に削減する。
2)メモリ使用量を増やすことなくILの収束を改善する新しい最適化器の開発
3) ILが2次・高次情報に敏感である条件を解明する理論的結果を確立すること。
関連論文リスト
- Enabling On-device Continual Learning with Binary Neural Networks [3.180732240499359]
連続学習(CL)とバイナリニューラルネットワーク(BNN)の分野における最近の進歩を組み合わせたソリューションを提案する。
具体的には,2値の潜在リプレイアクティベーションと,勾配計算に必要なビット数を大幅に削減する新しい量子化方式を利用する。
論文 参考訳（メタデータ） (2024-01-18T11:57:05Z) - Biologically Plausible Learning on Neuromorphic Hardware Architectures [27.138481022472]
ニューロモルフィックコンピューティング(Neuromorphic Computing)は、アナログメモリの計算によってこの不均衡に直面している新興パラダイムである。
この研究は、異なる学習アルゴリズムがCompute-In-Memoryベースのハードウェアに与える影響を初めて比較し、その逆も行った。
論文 参考訳（メタデータ） (2022-12-29T15:10:59Z) - A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive
Coding Networks [65.34977803841007]
予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。
シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
論文 参考訳（メタデータ） (2022-11-16T00:11:04Z) - Fast Bayesian Optimization of Needle-in-a-Haystack Problems using
Zooming Memory-Based Initialization [73.96101108943986]
Needle-in-a-Haystack問題は、データセットのサイズに対して最適な条件が極端に不均衡であるときに発生する。
本稿では,従来のベイズ最適化原理に基づくズームメモリに基づく初期化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-08-26T23:57:41Z) - A Theoretical Framework for Inference Learning [1.433758865948252]
バックプロパゲーション(BP)はディープラーニングにおいて最も成功し、広く使われているアルゴリズムである。
推論学習アルゴリズム(IL)は皮質機能の神経生物学モデルと密接に関連している。
ILは、教師付き学習と自己連想タスクにおけるBPと同等のパフォーマンスを持つ。
論文 参考訳（メタデータ） (2022-06-01T00:38:55Z) - Circa: Stochastic ReLUs for Private Deep Learning [6.538025863698682]
我々はReLU計算を再考し、ニューラルネットワークに適したPIの最適化を提案する。
具体的には,ReLUを近似手形テストとして再構成し,手形テストのための新しい切り抜き手法を導入する。
最大4.7倍のストレージと3倍のランタイムをベースライン実装で実現した。
論文 参考訳（メタデータ） (2021-06-15T22:52:45Z) - Predictive Coding Can Do Exact Backpropagation on Convolutional and
Recurrent Neural Networks [40.51949948934705]
予測符号化ネットワーク(PCN)は、脳内の情報処理に影響を及ぼすモデルである。
BPは現代の機械学習において最も成功した学習方法と考えられている。
生物学的に妥当なアルゴリズムは複雑なアーキテクチャ上でBPの精度を正確に再現できることを示す。
論文 参考訳（メタデータ） (2021-03-05T14:57:01Z) - Phase Retrieval using Expectation Consistent Signal Recovery Algorithm
based on Hypernetwork [73.94896986868146]
位相検索は現代の計算イメージングシステムにおいて重要な要素である。
近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。
我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
論文 参考訳（メタデータ） (2021-01-12T08:36:23Z) - Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。
問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。
本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-01-07T08:00:02Z) - Community detection using fast low-cardinality semidefinite programming [94.4878715085334]
局所的な更新を一般化し、ライデン-k-カットから導かれる半定緩和を最大化する、新しい低カルチナリティアルゴリズムを提案する。
提案アルゴリズムはスケーラビリティが高く,最先端のアルゴリズムより優れ,実時間では性能が向上し,追加コストがほとんどない。
論文 参考訳（メタデータ） (2020-12-04T15:46:30Z) - Activation Relaxation: A Local Dynamical Approximation to
Backpropagation in the Brain [62.997667081978825]
活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。
我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
論文 参考訳（メタデータ） (2020-09-11T11:56:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。