論文の概要: The Predictive Forward-Forward Algorithm

• arxiv url: http://arxiv.org/abs/2301.01452v3
• Date: Sun, 2 Apr 2023 06:07:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 23:22:35.811549
• Title: The Predictive Forward-Forward Algorithm
• Title（参考訳）: 予測フォワードアルゴリズム
• Authors: Alexander Ororbia, Ankur Mali
• Abstract要約: 本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。 我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。 PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
• 参考スコア（独自算出の注目度）: 79.07468367923619
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose the predictive forward-forward (PFF) algorithm for conducting credit assignment in neural systems. Specifically, we design a novel, dynamic recurrent neural system that learns a directed generative circuit jointly and simultaneously with a representation circuit. Notably, the system integrates learnable lateral competition, noise injection, and elements of predictive coding, an emerging and viable neurobiological process theory of cortical function, with the forward-forward (FF) adaptation scheme. Furthermore, PFF efficiently learns to propagate learning signals and updates synapses with forward passes only, eliminating key structural and computational constraints imposed by backpropagation-based schemes. Besides computational advantages, the PFF process could prove useful for understanding the learning mechanisms behind biological neurons that use local signals despite missing feedback connections. We run experiments on image data and demonstrate that the PFF procedure works as well as backpropagation, offering a promising brain-inspired algorithm for classifying, reconstructing, and synthesizing data patterns.
• Abstract（参考訳）: 本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。 具体的には、有向生成回路と表現回路を同時に同時に学習する新しい動的リカレントニューラルネットワークを設計する。 特に、このシステムは学習可能な側方競合、ノイズ注入、および皮質機能の新興かつ実行可能な神経生物学的プロセス理論である予測コーディングの要素をフォワード・フォワード(ff)適応法と統合している。 さらに、PFFは学習信号を効率よく伝達し、前方通過のみでシナプスを更新し、バックプロパゲーションベースのスキームによって課される重要な構造的および計算的制約を取り除く。 計算上の優位性に加えて、PFFプロセスは、フィードバック接続の欠如にもかかわらず局所的な信号を使用する生物学的ニューロンの背後にある学習メカニズムを理解するのに有用である。 我々は画像データの実験を行い、PFF手順がバックプロパゲーションと同様に機能することを示し、データパターンの分類、再構成、合成のための有望な脳誘発アルゴリズムを提供する。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Training neural networks with structured noise improves classification and generalization [0.0]
  ノイズの多いトレーニングデータに構造を加えることで,アルゴリズムの性能が大幅に向上することを示す。 また,Hebbian Unlearning(ヘビアン・アンラーニング・ルール)と呼ばれる規則は,雑音が最大値である場合のトレーニング・ウィズ・ノイズ・アルゴリズムと一致することを証明した。
  論文  参考訳（メタデータ） (2023-02-26T22:10:23Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)
• A simple normative network approximates local non-Hebbian learning in the cortex [12.940770779756482]
  神経科学実験は、皮質ニューロンによる感覚入力の処理は、指示信号によって変調されることを示した。 ここでは、規範的なアプローチを採用し、フィードフォワードデータの投影を導く監督的な入力として、これらの命令信号をモデル化する。 オンラインアルゴリズムは、シナプス学習規則が大脳皮質で観察されるカルシウムプラトー電位依存的な可塑性に類似しているニューラルネットワークによって実装することができる。
  論文  参考訳（メタデータ） (2020-10-23T20:49:44Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• Structural plasticity on an accelerated analog neuromorphic hardware system [0.46180371154032884]
  我々は, プレ・グポストシナプスのパートナーを常に切り替えることにより, 構造的可塑性を達成するための戦略を提案する。 我々はこのアルゴリズムをアナログニューロモルフィックシステムBrainScaleS-2に実装した。 ネットワークトポロジを最適化する能力を示し、簡単な教師付き学習シナリオで実装を評価した。
  論文  参考訳（メタデータ） (2019-12-27T10:15:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。