論文の概要: Forward Target Propagation: A Forward-Only Approach to Global Error Credit Assignment via Local Losses

• arxiv url: http://arxiv.org/abs/2506.11030v1
• Date: Tue, 20 May 2025 16:09:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-22 23:32:14.492821
• Title: Forward Target Propagation: A Forward-Only Approach to Global Error Credit Assignment via Local Losses
• Title（参考訳）: フォワード・ターゲット・プロパゲーション:グローバル・エラー・クレジット・アサインメントへのフォワード・オンリーアプローチ
• Authors: Nazmus Saadat As-Saquib, A N M Nafiz Abeer, Hung-Ta Chien, Byung-Jun Yoon, Suhas Kumar, Su-in Yi,
• Abstract要約: ニューラルネットワークのトレーニングは、伝統的に、生物学的およびハードウェアの観点から重要な制限に悩まされるアルゴリズムであるバックプロパゲーション(BP)に依存してきた。 本稿では,後進パスを第2の前方パスに置き換える,生物学的に妥当かつ効率的な代替手段であるフォワード・ターゲット・プロパゲーション(FTP)を提案する。 MNIST, CIFAR10, CIFAR100におけるBPと競合する精度を示すとともに, シーケンシャルタスクにおける長期依存性の効果的なモデリングを行う。
• 参考スコア（独自算出の注目度）: 1.7482569079741028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training neural networks has traditionally relied on backpropagation (BP), a gradient-based algorithm that, despite its widespread success, suffers from key limitations in both biological and hardware perspectives. These include backward error propagation by symmetric weights, non-local credit assignment, and frozen activity during backward passes. We propose Forward Target Propagation (FTP), a biologically plausible and computationally efficient alternative that replaces the backward pass with a second forward pass. FTP estimates layerwise targets using only feedforward computations, eliminating the need for symmetric feedback weights or learnable inverse functions, hence enabling modular and local learning. We evaluate FTP on fully connected networks, CNNs, and RNNs, demonstrating accuracies competitive with BP on MNIST, CIFAR10, and CIFAR100, as well as effective modeling of long-term dependencies in sequential tasks. Moreover, FTP outperforms BP under quantized low-precision and emerging hardware constraints while also demonstrating substantial efficiency gains over other biologically inspired methods such as target propagation variants and forward-only learning algorithms. With its minimal computational overhead, forward-only nature, and hardware compatibility, FTP provides a promising direction for energy-efficient on-device learning and neuromorphic computing.
• Abstract（参考訳）: ニューラルネットワークのトレーニングは伝統的に、勾配に基づくアルゴリズムであるバックプロパゲーション(BP)に依存してきた。 これには対称重みによる後方誤り伝播、非局所クレジット割り当て、後方通過時の凍結活動が含まれる。 本稿では,後進パスを第2の前方パスに置き換え,生物学的に妥当かつ効率的な代替手段であるフォワード・ターゲット・プロパゲーション(FTP)を提案する。 FTPはフィードフォワード計算のみを使用して階層的にターゲットを推定し、対称的なフィードバックウェイトや学習可能な逆関数の必要性を排除し、モジュール化と局所学習を可能にする。 MNIST, CIFAR10, CIFAR100におけるBPと競合する精度を示すとともに, シーケンシャルタスクにおける長期依存性の効果的なモデリングを行う。 さらに、FTPは、量子化された低精度および新興ハードウェア制約の下でBPより優れ、また、ターゲット伝搬変種やフォワードオンリーの学習アルゴリズムなど、他の生物学的にインスパイアされた方法よりも大幅に効率が向上する。 その最小の計算オーバーヘッド、前方のみの性質、ハードウェア互換性により、FTPは、エネルギー効率の高いオンデバイス学習とニューロモルフィックコンピューティングのための有望な方向性を提供する。

関連論文リスト

• Fast Training of Recurrent Neural Networks with Stationary State Feedbacks [48.22082789438538]
  リカレントニューラルネットワーク(RNN)は最近、Transformerよりも強力なパフォーマンスと高速な推論を実証している。 BPTTを固定勾配フィードバック機構で置き換える新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-03-29T14:45:52Z)
• Gradient-Free Training of Recurrent Neural Networks using Random Perturbations [1.1742364055094265]
  リカレントニューラルネットワーク(RNN)は、チューリング完全性とシーケンシャルな処理能力のために、計算の潜在能力を秘めている。 時間によるバックプロパゲーション(BPTT)は、時間とともにRNNをアンロールすることでバックプロパゲーションアルゴリズムを拡張する。 BPTTは、前方と後方のフェーズをインターリーブし、正確な勾配情報を格納する必要があるなど、大きな欠点に悩まされている。 BPTTと競合するRNNにおける摂動学習に対する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-14T21:15:29Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)
• A Theoretical Framework for Target Propagation [75.52598682467817]
  我々は、バックプロパゲーション(BP)の代替として人気があるが、まだ完全には理解されていないターゲット伝搬(TP)を解析する。 提案理論は,TPがガウス・ニュートン最適化と密接に関係していることを示し,BPとは大きく異なる。 我々は,フィードバックウェイトトレーニングを改善する新しいリコンストラクション損失を通じて,この問題に対する第1の解決策を提供する。
  論文  参考訳（メタデータ） (2020-06-25T12:07:06Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。