論文の概要: Mono-Forward: Backpropagation-Free Algorithm for Efficient Neural Network Training Harnessing Local Errors

• arxiv url: http://arxiv.org/abs/2501.09238v1
• Date: Thu, 16 Jan 2025 01:50:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:09:48.940159
• Title: Mono-Forward: Backpropagation-Free Algorithm for Efficient Neural Network Training Harnessing Local Errors
• Title（参考訳）: Mono-Forward: Backpropagation-free Algorithm for Efficient Neural Network Training Harnessing Local Errors
• Authors: James Gong, Bruce Li, Waleed Abdulla,
• Abstract要約: バックプロパゲーションは、ニューラルネットワークトレーニングにおける最先端の精度を達成するための標準的な方法である。 HintonのForward-Forwardフレームワークにインスパイアされた,純粋に局所的な階層学習手法であるMono-Forwardアルゴリズムを導入する。 テスト結果は、Mono-Forwardがすべてのタスクでバックプロパゲーションの正確さを一貫して一致または上回っていることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Backpropagation is the standard method for achieving state-of-the-art accuracy in neural network training, but it often imposes high memory costs and lacks biological plausibility. In this paper, we introduce the Mono-Forward algorithm, a purely local layerwise learning method inspired by Hinton's Forward-Forward framework. Unlike backpropagation, Mono-Forward optimizes each layer solely with locally available information, eliminating the reliance on global error signals. We evaluated Mono-Forward on multi-layer perceptrons and convolutional neural networks across multiple benchmarks, including MNIST, Fashion-MNIST, CIFAR-10, and CIFAR-100. The test results show that Mono-Forward consistently matches or surpasses the accuracy of backpropagation across all tasks, with significantly reduced and more even memory usage, better parallelizability, and a comparable convergence rate.
• Abstract（参考訳）: バックプロパゲーションは、ニューラルネットワークトレーニングにおける最先端の精度を達成するための標準的な方法であるが、しばしば高いメモリコストを課し、生物学的な妥当性を欠いている。 本稿では,HintonのForward-Forwardフレームワークにヒントを得た,純粋に局所的な階層学習手法であるMono-Forwardアルゴリズムを紹介する。 バックプロパゲーションとは異なり、Mono-Forwardは各レイヤをローカルに利用可能な情報のみで最適化し、グローバルエラー信号への依存をなくす。 我々は、MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100を含む複数のベンチマークにおいて、マルチ層パーセプトロンおよび畳み込みニューラルネットワーク上でMono-Forwardを評価した。 テスト結果は、Mono-Forwardがすべてのタスクのバックプロパゲーションの精度を一貫して一致または上回っていることを示している。

関連論文リスト

• Towards Interpretable Deep Local Learning with Successive Gradient Reconciliation [70.43845294145714]
  グローバルバックプロパゲーション(BP)に対するニューラルネットワークトレーニングの信頼性の回復が、注目すべき研究トピックとして浮上している。 本稿では,隣接モジュール間の勾配調整を連続的に調整する局所的学習戦略を提案する。 提案手法はローカルBPとBPフリー設定の両方に統合できる。
  論文  参考訳（メタデータ） (2024-06-07T19:10:31Z)
• Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
  グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
  論文  参考訳（メタデータ） (2023-04-20T07:21:32Z)
• Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
  本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。 解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
  論文  参考訳（メタデータ） (2023-02-06T16:54:20Z)
• Revisiting Sparse Convolutional Model for Visual Recognition [40.726494290922204]
  本稿では,画像分類のためのスパース畳み込みモデルについて再検討する。 CIFAR-10, CIFAR-100, ImageNetデータセット上でも同様に強力な実験性能を示した。
  論文  参考訳（メタデータ） (2022-10-24T04:29:21Z)
• SymNMF-Net for The Symmetric NMF Problem [62.44067422984995]
  我々は,Symmetric NMF問題に対するSymNMF-Netと呼ばれるニューラルネットワークを提案する。 各ブロックの推測は最適化の単一イテレーションに対応することを示す。 実世界のデータセットに関する実証的な結果は、我々のSymNMF-Netの優位性を示している。
  論文  参考訳（メタデータ） (2022-05-26T08:17:39Z)
• An alternative approach to train neural networks using monotone variational inequality [22.320632565424745]
  本稿では,モノトーンベクトル場を用いたニューラルネットワークトレーニングの代替手法を提案する。 我々のアプローチは、事前訓練されたニューラルネットワークのより効率的な微調整に利用できる。
  論文  参考訳（メタデータ） (2022-02-17T19:24:20Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• Multi-Sample Online Learning for Spiking Neural Networks based on Generalized Expectation Maximization [42.125394498649015]
  スパイキングニューラルネットワーク(SNN)は、バイナリニューラルダイナミックアクティベーションを通じて処理することで、生物学的脳の効率の一部をキャプチャする。 本稿では, シナプス重みを共有しながら, 独立したスパイキング信号をサンプリングする複数のコンパートメントを活用することを提案する。 鍵となる考え方は、これらの信号を使ってログライクなトレーニング基準のより正確な統計的推定と勾配を求めることである。
  論文  参考訳（メタデータ） (2021-02-05T16:39:42Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Margin-Based Regularization and Selective Sampling in Deep Neural Networks [7.219077740523683]
  我々は、ディープニューラルネットワーク(DNN)のための新しいマージンベース正規化形式、MMR(Multi-margin regularization)を導出する。 CIFAR10, CIFAR100, ImageNet上で, MNLI, QQP, QNLI, MRPC, SST-2, RTEベンチマークのための最先端畳み込みニューラルネットワーク(CNN)とBERT-BASEアーキテクチャを用いて, 実験結果の改善を示す。
  論文  参考訳（メタデータ） (2020-09-13T15:06:42Z)
• Tunable Subnetwork Splitting for Model-parallelism of Neural Network Training [12.755664985045582]
  本稿では,深層ニューラルネットワークの分解を調整可能なサブネットワーク分割法(TSSM)を提案する。 提案するTSSMは,トレーニング精度を損なうことなく,大幅な高速化を実現することができる。
  論文  参考訳（メタデータ） (2020-09-09T01:05:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。