論文の概要: Closed-Form Feedback-Free Learning with Forward Projection

• arxiv url: http://arxiv.org/abs/2501.16476v1
• Date: Mon, 27 Jan 2025 20:10:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 16:42:49.557644
• Title: Closed-Form Feedback-Free Learning with Forward Projection
• Title（参考訳）: フォワード投影を用いた閉形式フィードバック自由学習
• Authors: Robert O'Shea, Bipin Rajendran,
• Abstract要約: フォワードプロジェクション(Forward Projection)は、トレーニング中の神経活動の逆行的なコミュニケーションを伴わない、解釈可能なニューラルネットワークモデルを生成する機械学習アプローチである。 4つのバイオメディカルデータセットにまたがるFPの有効性を示す。
• 参考スコア（独自算出の注目度）: 1.0128808054306186
• License:
• Abstract: State-of-the-art methods for backpropagation-free learning employ local error feedback to direct iterative optimisation via gradient descent. In this study, we examine the more restrictive setting where retrograde communication from neuronal outputs is unavailable for pre-synaptic weight optimisation. To address this challenge, we propose Forward Projection (FP). This novel randomised closed-form training method requires only a single forward pass over the entire dataset for model fitting, without retrograde communication. Target values for pre-activation membrane potentials are generated layer-wise via nonlinear projections of pre-synaptic inputs and the labels. Local loss functions are optimised over pre-synaptic inputs using closed-form regression, without feedback from neuronal outputs or downstream layers. Interpretability is a key advantage of FP training; membrane potentials of hidden neurons in FP-trained networks encode information which is interpretable layer-wise as label predictions. We demonstrate the effectiveness of FP across four biomedical datasets. In few-shot learning tasks, FP yielded more generalisable models than those optimised via backpropagation. In large-sample tasks, FP-based models achieve generalisation comparable to gradient descent-based local learning methods while requiring only a single forward propagation step, achieving significant speed up for training. Interpretation functions defined on local neuronal activity in FP-based models successfully identified clinically salient features for diagnosis in two biomedical datasets. Forward Projection is a computationally efficient machine learning approach that yields interpretable neural network models without retrograde communication of neuronal activity during training.
• Abstract（参考訳）: バックプロパゲーションフリー学習のための最先端の手法は、勾配降下による反復最適化を誘導するために局所的な誤差フィードバックを用いる。 本研究では,神経出力からの逆行性通信がシナプス前体重最適化に利用できない,より制限的な設定について検討した。 この課題に対処するため、我々はフォワード・プロジェクション(FP)を提案する。 この新しいランダム化されたクローズドフォームトレーニング手法は、逆行的な通信をすることなく、モデルフィッティングのためのデータセット全体に対して1つのフォワードパスしか必要としない。 プレアクティベーション膜電位のターゲット値は、プレシナプス入力とラベルの非線形投影により層単位で生成される。 局所損失関数は、ニューロン出力や下流層からのフィードバックなしに、クローズドフォーム回帰を用いてシナプス前入力に対して最適化される。 解釈可能性(interpretability)は、FPトレーニングの重要な利点であり、FPトレーニングされたネットワーク内の隠されたニューロンの膜電位は、ラベル予測として層レベルで解釈可能な情報を符号化する。 4つのバイオメディカルデータセットにまたがるFPの有効性を示す。 数ショットの学習タスクでは、FPはバックプロパゲーションによって最適化されたモデルよりも一般化可能なモデルを得た。 大規模タスクでは、FPベースのモデルが勾配降下に基づく局所学習手法に匹敵する一般化を実現し、1つの前進伝播ステップしか必要とせず、トレーニングの大幅な高速化を実現している。 FPモデルにおける局所神経活動に定義された解釈関数は、2つのバイオメディカルデータセットにおける診断のための臨床的に健全な特徴を同定することに成功した。 フォワードプロジェクション(Forward Projection)は、トレーニング中の神経活動の逆行的なコミュニケーションを伴わない、解釈可能なニューラルネットワークモデルを生成する、計算的に効率的な機械学習アプローチである。

関連論文リスト

• PreAdaptFWI: Pretrained-Based Adaptive Residual Learning for Full-Waveform Inversion Without Dataset Dependency [8.719356558714246]
  フルウェーブフォーム・インバージョン(Full-waveform Inversion、FWI)は、地震データを用いて地下媒体の物理パラメータを反転させる手法である。 異常な性質のため、FWIは局所的なミニマに閉じ込められやすい。 ニューラルネットワークとFWIを組み合わせることで、インバージョンプロセスの安定化が試みられている。
  論文  参考訳（メタデータ） (2025-02-17T15:30:17Z)
• Epistemic Modeling Uncertainty of Rapid Neural Network Ensembles for Adaptive Learning [0.0]
  新しいタイプのニューラルネットワークは、高速ニューラルネットワークパラダイムを用いて提示される。 提案したエミュレータを組み込んだニューラルネットワークは,予測精度を損なうことなく,ほぼ瞬時に学習できることが判明した。
  論文  参考訳（メタデータ） (2023-09-12T22:34:34Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• The Predictive Forward-Forward Algorithm [79.07468367923619]
  本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。 我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。 PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
  論文  参考訳（メタデータ） (2023-01-04T05:34:48Z)
• Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer Spiking Neural Networks based on Spike-Timing-Dependent Plasticity [13.384228628766236]
  スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。 本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。 我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
  論文  参考訳（メタデータ） (2022-11-10T08:32:13Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)
• Adaptive conversion of real-valued input into spike trains [91.3755431537592]
  本稿では,実数値入力をスパイクトレインに変換し,スパイクニューラルネットワークで処理する方法を提案する。 提案手法は網膜神経節細胞の適応的挙動を模倣し,入力ニューロンが入力の統計の変化に応答することを可能にする。
  論文  参考訳（メタデータ） (2021-04-12T12:33:52Z)
• Multi-Sample Online Learning for Spiking Neural Networks based on Generalized Expectation Maximization [42.125394498649015]
  スパイキングニューラルネットワーク(SNN)は、バイナリニューラルダイナミックアクティベーションを通じて処理することで、生物学的脳の効率の一部をキャプチャする。 本稿では, シナプス重みを共有しながら, 独立したスパイキング信号をサンプリングする複数のコンパートメントを活用することを提案する。 鍵となる考え方は、これらの信号を使ってログライクなトレーニング基準のより正確な統計的推定と勾配を求めることである。
  論文  参考訳（メタデータ） (2021-02-05T16:39:42Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。