論文の概要: Adaptive Spatial Goodness Encoding: Advancing and Scaling Forward-Forward Learning Without Backpropagation

• arxiv url: http://arxiv.org/abs/2509.12394v1
• Date: Mon, 15 Sep 2025 19:38:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:52.739749
• Title: Adaptive Spatial Goodness Encoding: Advancing and Scaling Forward-Forward Learning Without Backpropagation
• Title（参考訳）: 適応的空間良性エンコーディング:バックプロパゲーションのない前向き学習の促進とスケーリング
• Authors: Qingchun Gong, Robert Bogdan Staszewski, Kai Xu,
• Abstract要約: 我々は、畳み込みニューラルネットワーク(CNN)に適した、新しいフォワードフォワード(FF)ベースのトレーニングフレームワークを提案する。 ASGEは、各層における空間的に認識された良さの反感をマップで計算し、レイヤ単位での監視を可能にする。 FFベースのトレーニングが最初に成功したのはImageNetデータセットで、Top-1とTop-5のアキュラシーは26.21%と47.49%である。
• 参考スコア（独自算出の注目度）: 5.092009068303438
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Forward-Forward (FF) algorithm offers a promising al- ternative to backpropagation (BP). Despite advancements in recent FF-based extensions, which have enhanced the origi- nal algorithm and adapted it to convolutional neural networks (CNNs), they often suffer from limited representational ca- pacity and poor scalability to large-scale datasets, primarily due to exploding channel dimensionality. In this work, we propose adaptive spatial goodness encoding (ASGE), a new FF-based training framework tailored for CNNs. ASGE lever- ages feature maps to compute spatially-aware goodness rep- resentations at each layer, enabling layer-wise supervision. Crucially, this approach decouples classification complexity from channel dimensionality, thereby addressing the issue of channel explosion and achieving competitive performance compared to other BP-free methods. ASGE outperforms all other FF-based approaches across multiple benchmarks, delivering test accuracies of 99.65% on MNIST, 93.41% on FashionMNIST, 90.62% on CIFAR-10, and 65.42% on CIFAR-100. Moreover, we present the first successful ap- plication of FF-based training to ImageNet, with Top-1 and Top-5 accuracies of 26.21% and 47.49%. By entirely elimi- nating BP and significantly narrowing the performance gap with BP-trained models, the ASGE framework establishes a viable foundation toward scalable BP-free CNN training.
• Abstract（参考訳）: Forward-Forward (FF)アルゴリズムは有望なal-ternative to backpropagation (BP)を提供する。 近年のFFベースの拡張は、オリジ・ニューラルアルゴリズムを強化し、畳み込みニューラルネットワーク(CNN)に適応したものの、多くの場合、チャネル次元の爆発によって、大規模なデータセットに対する表現キャパシティやスケーラビリティの低下に悩まされている。 本研究では,適応的空間良性符号化(ASGE)を提案する。 ASGEレバー年齢は、各層における空間的に認識された良さの反感を計算し、層単位での監視を可能にする。 重要なことに、このアプローチはチャネル次元から分類複雑性を分離し、チャネル爆発の問題に対処し、他のBPフリー手法と比較して競争性能を達成する。 ASGEは複数のベンチマークでFFベースのアプローチを上回り、MNISTで99.65%、FashionMNISTで93.41%、CIFAR-10で90.62%、CIFAR-100で65.42%の精度でテストを行った。 さらに、FFベースのトレーニングが最初に成功し、Top-1とTop-5のアキュラシーは26.21%、47.49%であった。 ASGEフレームワークは、BPを完全にエミネーティングし、BPトレーニングされたモデルとパフォーマンスギャップを著しく狭めることにより、スケーラブルなBPフリーCNNトレーニングに向けた実行可能な基盤を確立している。

関連論文リスト

• FFGAF-SNN: The Forward-Forward Based Gradient Approximation Free Training Framework for Spiking Neural Networks [7.310627646090302]
  Spiking Neural Networks (SNN)は、エネルギー効率の良いニューロモルフィックコンピューティングのための生物学的に妥当なフレームワークを提供する。 SNNを効率よく訓練することは困難である。 本稿では,スパイキングニューラルネットワークのためのフォワードフォワード(FF)に基づく勾配近似自由トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-31T15:22:23Z)
• Distance-Forward Learning: Enhancing the Forward-Forward Algorithm Towards High-Performance On-Chip Learning [20.037634881772842]
  バックプロパゲーション(BP)の限界に対処する局所学習手法として,フォワードフォワード(FF)アルゴリズムが最近提案されている。 距離メトリック学習を用いてFFを再構成し、教師付き視覚タスクにおけるFF性能を改善するための距離フォワードアルゴリズム(DF)を提案する。 CIFAR-10では88.2%、CIFAR-100では59%、SVHNでは95.9%、ImageNetteでは82.5%である。
  論文  参考訳（メタデータ） (2024-08-27T10:01:43Z)
• Convolutional Channel-wise Competitive Learning for the Forward-Forward Algorithm [5.1246638322893245]
  深層ニューラルネットワークのトレーニングに一般的に使用されるバックプロパゲーション(BP)の問題を軽減するために,フォワードフォワード(FF)アルゴリズムが提案されている。 我々は、画像分類タスクにおける畳み込みニューラルネットワークの文脈において、チャネルワイズ競争学習を活用することにより、FFの主な考え方を取り入れ、それらを改善する。 MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100の試験誤差は0.58%, 7.69%, 21.89%, 48.77%であった。
  論文  参考訳（メタデータ） (2023-12-19T23:48:43Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• WSEBP: A Novel Width-depth Synchronous Extension-based Basis Pursuit Algorithm for Multi-Layer Convolutional Sparse Coding [4.521915878576165]
  多層畳み込みスパース符号化(ML-CSC)は畳み込みニューラルネットワーク(CNN)を解釈できる 現在の最先端(SOTA)探索アルゴリズムの多くはML-CSCの解を最適化するために複数の繰り返しを必要とする。 本稿では,ML-CSC問題を反復回数の制限なく解くWSEBPアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-28T15:53:52Z)
• Distillation Guided Residual Learning for Binary Convolutional Neural Networks [83.6169936912264]
  Binary CNN(BCNN)とFloating Point CNN(FCNN)のパフォーマンスギャップを埋めることは難しい。 我々は,この性能差が,BCNNとFCNNの中間特徴写像の間にかなりの残差をもたらすことを観察した。 性能ギャップを最小限に抑えるため,BCNN は FCNN と同様の中間特徴写像を生成する。 このトレーニング戦略、すなわち、FCNNから派生したブロックワイド蒸留損失で各バイナリ畳み込みブロックを最適化することで、BCNNをより効果的に最適化する。
  論文  参考訳（メタデータ） (2020-07-10T07:55:39Z)
• Belief Propagation Neural Networks [103.97004780313105]
  信念伝播ニューラルネットワーク(BPNN)を紹介する。 BPNNは因子グラフ上で動作し、信念伝播(BP)を一般化する BPNNはIsingモデル上で1.7倍高速に収束し、より厳密な境界を提供することを示す。 挑戦的なモデルカウント問題に関して、BPNNは最先端の手作り手法の100倍の速さを推定する。
  論文  参考訳（メタデータ） (2020-07-01T07:39:51Z)
• Attentive CutMix: An Enhanced Data Augmentation Approach for Deep Learning Based Image Classification [58.20132466198622]
  そこで我々は,CutMixに基づく自然拡張拡張戦略であるAttentive CutMixを提案する。 各トレーニングイテレーションにおいて、特徴抽出器から中間注意マップに基づいて最も記述性の高い領域を選択する。 提案手法は単純かつ有効であり,実装が容易であり,ベースラインを大幅に向上させることができる。
  論文  参考訳（メタデータ） (2020-03-29T15:01:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。