論文の概要: Training Convolutional Neural Networks with the Forward-Forward algorithm

• arxiv url: http://arxiv.org/abs/2312.14924v4
• Date: Tue, 04 Nov 2025 13:24:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 18:47:05.49482
• Title: Training Convolutional Neural Networks with the Forward-Forward algorithm
• Title（参考訳）: 前向きアルゴリズムによる畳み込みニューラルネットワークの学習
• Authors: Riccardo Scodellaro, Ajinkya Kulkarni, Frauke Alves, Matthias Schröter,
• Abstract要約: 本研究では,Fourierパターンと形態変換に基づく2つの空間的ラベリング戦略を導入し,畳み込み層がすべての空間的位置にわたってラベル情報にアクセスできるようにする。 CIFAR10では、より深いFF学習CNNを最適化し、形態素に基づくラベルにより、より複雑で細かい特徴を持つデータセット上のショートカットソリューションが防止されることを示す。 これらの結果は、FFトレーニングが完全なネットワークを超えて実現可能であることを示し、学習のダイナミクスと安定性に関する新たな洞察を提供し、ニューロモルフィックコンピューティングと生物学的にインスパイアされた学習の可能性を強調している。
• 参考スコア（独自算出の注目度）: 4.098931542454308
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent successes in image analysis with deep neural networks are achieved almost exclusively with Convolutional Neural Networks (CNNs), typically trained using the backpropagation (BP) algorithm. In a 2022 preprint, Geoffrey Hinton proposed the Forward-Forward (FF) algorithm as a biologically inspired alternative, where positive and negative examples are jointly presented to the network and training is guided by a locally defined goodness function. Here, we extend the FF paradigm to CNNs. We introduce two spatially extended labeling strategies, based on Fourier patterns and morphological transformations, that enable convolutional layers to access label information across all spatial positions. On CIFAR10, we show that deeper FF-trained CNNs can be optimized successfully and that morphology-based labels prevent shortcut solutions on dataset with more complex and fine features. On CIFAR100, carefully designed label sets scale effectively to 100 classes. Class Activation Maps reveal that FF-trained CNNs learn meaningful and complementary features across layers. Together, these results demonstrate that FF training is feasible beyond fully connected networks, provide new insights into its learning dynamics and stability, and highlight its potential for neuromorphic computing and biologically inspired learning.
• Abstract（参考訳）: ディープニューラルネットワークを用いた画像解析の最近の成功は、主にバックプロパゲーション(BP)アルゴリズムを用いてトレーニングされた畳み込みニューラルネットワーク(CNN)によって、ほぼ独占的に達成されている。 2022年のプレプリントで、Geoffrey Hintonはフォワード・フォワード(FF)アルゴリズムを生物学的にインスパイアされた代替として提案し、正と負の例をネットワークに共同で提示し、訓練は局所的に定義された良性関数によって導かれる。 ここでは、FFパラダイムをCNNに拡張する。 本研究では,Fourierパターンと形態変換に基づく2つの空間的ラベリング戦略を導入し,畳み込み層がすべての空間的位置にわたってラベル情報にアクセスできるようにする。 CIFAR10では、より深いFF学習CNNを最適化し、形態素に基づくラベルにより、より複雑で細かい特徴を持つデータセット上のショートカットソリューションが防止されることを示す。 CIFAR100では、慎重に設計されたラベルセットが100のクラスに効果的にスケールする。 クラスアクティベーションマップは、FFで訓練されたCNNがレイヤー間で有意義で相補的な機能を学ぶことを示している。 これらの結果は、FFトレーニングが完全なネットワークを超えて実現可能であることを示し、学習のダイナミクスと安定性に関する新たな洞察を提供し、ニューロモルフィックコンピューティングと生物学的にインスパイアされた学習の可能性を強調している。

関連論文リスト

• CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
  蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。 Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
  論文  参考訳（メタデータ） (2024-04-23T08:19:08Z)
• An Efficient Evolutionary Deep Learning Framework Based on Multi-source Transfer Learning to Evolve Deep Convolutional Neural Networks [8.40112153818812]
  畳み込みニューラルネットワーク(CNN)は、より複雑なトポロジを導入し、より深くより広いCNNへのキャパシティを拡大することで、長年にわたって、より優れたパフォーマンスを実現してきた。 計算コストは依然としてCNNを自動設計するボトルネックである。 本稿では, CNNを効率的に進化させるために, トランスファーラーニングにヒントを得て, 新たな進化的計算ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-07T20:22:58Z)
• Recursive Least Squares for Training and Pruning Convolutional Neural Networks [27.089496826735672]
  畳み込みニューラルネットワーク(CNN)は多くの実用化に成功している。 高い計算とストレージ要件により、リソース制約のあるデバイスへのデプロイが困難になる。 本稿では,CNNの訓練と刈り取りのための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-13T07:14:08Z)
• The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
  本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。 本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
  論文  参考訳（メタデータ） (2021-01-29T07:46:39Z)
• Convolutional Neural Networks for Multispectral Image Cloud Masking [7.812073412066698]
  畳み込みニューラルネットワーク(CNN)は多くの画像分類タスクの最先端技術であることが証明されている。 Proba-Vマルチスペクトル画像のクラウドマスキングにおける異なるCNNアーキテクチャの利用について検討する。
  論文  参考訳（メタデータ） (2020-12-09T21:33:20Z)
• The Neural Tangent Link Between CNN Denoisers and Non-Local Filters [4.254099382808598]
  畳み込みニューラルネットワーク(CNN)は現在、計算画像問題を解決するための確立されたツールである。 ニューラルネットワークタンジェント(NTK)とよく知られた非局所フィルタリング技術によるネットワーク間の公式なリンクを導入する。 本研究は,広範囲な画像復号化実験により評価した。
  論文  参考訳（メタデータ） (2020-06-03T16:50:54Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Backprojection for Training Feedforward Neural Networks in the Input and Feature Spaces [12.323996999894002]
  本稿では,バックプロパゲーションよりもかなり高速なフィードフォワードニューラルネットワークのトレーニングアルゴリズムを提案する。 提案アルゴリズムは、それぞれバックプロジェクションとカーネルバックプロジェクションと呼ばれる入力空間と特徴空間の両方に利用できる。
  論文  参考訳（メタデータ） (2020-04-05T20:53:11Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)
• Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
  我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。 畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
  論文  参考訳（メタデータ） (2020-02-18T17:42:13Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。