論文の概要: Training Convolutional Neural Networks with the Forward-Forward algorithm

• arxiv url: http://arxiv.org/abs/2312.14924v4
• Date: Tue, 04 Nov 2025 13:24:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 18:47:05.49482
• Title: Training Convolutional Neural Networks with the Forward-Forward algorithm
• Title（参考訳）: 前向きアルゴリズムによる畳み込みニューラルネットワークの学習
• Authors: Riccardo Scodellaro, Ajinkya Kulkarni, Frauke Alves, Matthias Schröter,
• Abstract要約: 本研究では,Fourierパターンと形態変換に基づく2つの空間的ラベリング戦略を導入し,畳み込み層がすべての空間的位置にわたってラベル情報にアクセスできるようにする。 CIFAR10では、より深いFF学習CNNを最適化し、形態素に基づくラベルにより、より複雑で細かい特徴を持つデータセット上のショートカットソリューションが防止されることを示す。 これらの結果は、FFトレーニングが完全なネットワークを超えて実現可能であることを示し、学習のダイナミクスと安定性に関する新たな洞察を提供し、ニューロモルフィックコンピューティングと生物学的にインスパイアされた学習の可能性を強調している。
• 参考スコア（独自算出の注目度）: 4.098931542454308
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent successes in image analysis with deep neural networks are achieved almost exclusively with Convolutional Neural Networks (CNNs), typically trained using the backpropagation (BP) algorithm. In a 2022 preprint, Geoffrey Hinton proposed the Forward-Forward (FF) algorithm as a biologically inspired alternative, where positive and negative examples are jointly presented to the network and training is guided by a locally defined goodness function. Here, we extend the FF paradigm to CNNs. We introduce two spatially extended labeling strategies, based on Fourier patterns and morphological transformations, that enable convolutional layers to access label information across all spatial positions. On CIFAR10, we show that deeper FF-trained CNNs can be optimized successfully and that morphology-based labels prevent shortcut solutions on dataset with more complex and fine features. On CIFAR100, carefully designed label sets scale effectively to 100 classes. Class Activation Maps reveal that FF-trained CNNs learn meaningful and complementary features across layers. Together, these results demonstrate that FF training is feasible beyond fully connected networks, provide new insights into its learning dynamics and stability, and highlight its potential for neuromorphic computing and biologically inspired learning.
• Abstract（参考訳）: ディープニューラルネットワークを用いた画像解析の最近の成功は、主にバックプロパゲーション(BP)アルゴリズムを用いてトレーニングされた畳み込みニューラルネットワーク(CNN)によって、ほぼ独占的に達成されている。 2022年のプレプリントで、Geoffrey Hintonはフォワード・フォワード(FF)アルゴリズムを生物学的にインスパイアされた代替として提案し、正と負の例をネットワークに共同で提示し、訓練は局所的に定義された良性関数によって導かれる。 ここでは、FFパラダイムをCNNに拡張する。 本研究では,Fourierパターンと形態変換に基づく2つの空間的ラベリング戦略を導入し,畳み込み層がすべての空間的位置にわたってラベル情報にアクセスできるようにする。 CIFAR10では、より深いFF学習CNNを最適化し、形態素に基づくラベルにより、より複雑で細かい特徴を持つデータセット上のショートカットソリューションが防止されることを示す。 CIFAR100では、慎重に設計されたラベルセットが100のクラスに効果的にスケールする。 クラスアクティベーションマップは、FFで訓練されたCNNがレイヤー間で有意義で相補的な機能を学ぶことを示している。 これらの結果は、FFトレーニングが完全なネットワークを超えて実現可能であることを示し、学習のダイナミクスと安定性に関する新たな洞察を提供し、ニューロモルフィックコンピューティングと生物学的にインスパイアされた学習の可能性を強調している。

関連論文リスト

• Information-Theoretic Greedy Layer-wise Training for Traffic Sign Recognition [0.5024983453990065]
  レイヤワイズトレーニングは、クロスエントロピー損失とバックプロパゲーションの必要性を排除する。 既存の階層的なトレーニングアプローチの多くは、比較的小さなデータセットでのみ評価されている。 本稿では,最近開発された決定論的情報ボトルネック(DIB)と行列に基づくR'enyiの$alpha$-orderエントロピー関数に基づく,階層的学習手法を提案する。
  論文  参考訳（メタデータ） (2025-10-31T17:24:58Z)
• CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
  蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。 Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
  論文  参考訳（メタデータ） (2024-04-23T08:19:08Z)
• Adaptive Growth: Real-time CNN Layer Expansion [0.0]
  本研究では,データ入力に基づいて,畳み込みニューラルネットワーク(CNN)の畳み込み層を動的に進化させるアルゴリズムを提案する。 厳密なアーキテクチャの代わりに、我々のアプローチはカーネルを畳み込み層に反復的に導入し、様々なデータに対してリアルタイムに応答する。 興味深いことに、我々の教師なしの手法は、さまざまなデータセットにまたがって教師なしの手法を上回った。
  論文  参考訳（メタデータ） (2023-09-06T14:43:58Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Speeding Up EfficientNet: Selecting Update Blocks of Convolutional Neural Networks using Genetic Algorithm in Transfer Learning [0.0]
  パラメータを更新するための階層のブロックを選択する遺伝的アルゴリズムを考案する。 提案アルゴリズムは, 精度の点で, ベースラインと同等あるいは良質な結果が得られることを示す。 また、各ブロックの有効性を更新ブロックとして測定するブロック重要度と呼ばれる指標も考案した。
  論文  参考訳（メタデータ） (2023-03-01T06:35:29Z)
• An Efficient Evolutionary Deep Learning Framework Based on Multi-source Transfer Learning to Evolve Deep Convolutional Neural Networks [8.40112153818812]
  畳み込みニューラルネットワーク(CNN)は、より複雑なトポロジを導入し、より深くより広いCNNへのキャパシティを拡大することで、長年にわたって、より優れたパフォーマンスを実現してきた。 計算コストは依然としてCNNを自動設計するボトルネックである。 本稿では, CNNを効率的に進化させるために, トランスファーラーニングにヒントを得て, 新たな進化的計算ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-07T20:22:58Z)
• SAR Despeckling Using Overcomplete Convolutional Networks [53.99620005035804]
  スペックルはSAR画像を劣化させるため、リモートセンシングにおいて重要な問題である。 近年の研究では、畳み込みニューラルネットワーク(CNN)が古典的解法よりも優れていることが示されている。 本研究は、受容場を制限することで低レベルの特徴を学習することに集中するために、過剰なCNNアーキテクチャを用いる。 本稿では,合成および実SAR画像の非特定化手法と比較して,提案手法により非特定化性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-31T15:55:37Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Recursive Least Squares for Training and Pruning Convolutional Neural Networks [27.089496826735672]
  畳み込みニューラルネットワーク(CNN)は多くの実用化に成功している。 高い計算とストレージ要件により、リソース制約のあるデバイスへのデプロイが困難になる。 本稿では,CNNの訓練と刈り取りのための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-13T07:14:08Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
  本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。 本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
  論文  参考訳（メタデータ） (2021-01-29T07:46:39Z)
• Convolutional Neural Networks for Multispectral Image Cloud Masking [7.812073412066698]
  畳み込みニューラルネットワーク(CNN)は多くの画像分類タスクの最先端技術であることが証明されている。 Proba-Vマルチスペクトル画像のクラウドマスキングにおける異なるCNNアーキテクチャの利用について検討する。
  論文  参考訳（メタデータ） (2020-12-09T21:33:20Z)
• How Convolutional Neural Network Architecture Biases Learned Opponency and Colour Tuning [1.0742675209112622]
  最近の研究は、第2層にボトルネックを導入して畳み込みニューラルネットワーク(CNN)アーキテクチャを変更することで、学習機能の変化をもたらすことを示唆している。 この関係を完全に理解するには、訓練されたネットワークを定量的に比較する方法が必要である。 畳み込みニューロンに対する空間的および色調曲線を得るためのアプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-06T11:33:48Z)
• Embedded Encoder-Decoder in Convolutional Networks Towards Explainable AI [0.0]
  本稿では,刺激の視覚的特徴を表す新しい説明可能な畳み込みニューラルネットワーク(XCNN)を提案する。 CIFAR-10, Tiny ImageNet, MNISTデータセットを用いた実験結果から, 提案アルゴリズム (XCNN) をCNNで説明可能なものにすることに成功した。
  論文  参考訳（メタデータ） (2020-06-19T15:49:39Z)
• The Neural Tangent Link Between CNN Denoisers and Non-Local Filters [4.254099382808598]
  畳み込みニューラルネットワーク(CNN)は現在、計算画像問題を解決するための確立されたツールである。 ニューラルネットワークタンジェント(NTK)とよく知られた非局所フィルタリング技術によるネットワーク間の公式なリンクを導入する。 本研究は,広範囲な画像復号化実験により評価した。
  論文  参考訳（メタデータ） (2020-06-03T16:50:54Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Backprojection for Training Feedforward Neural Networks in the Input and Feature Spaces [12.323996999894002]
  本稿では,バックプロパゲーションよりもかなり高速なフィードフォワードニューラルネットワークのトレーニングアルゴリズムを提案する。 提案アルゴリズムは、それぞれバックプロジェクションとカーネルバックプロジェクションと呼ばれる入力空間と特徴空間の両方に利用できる。
  論文  参考訳（メタデータ） (2020-04-05T20:53:11Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)
• Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
  我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。 畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
  論文  参考訳（メタデータ） (2020-02-18T17:42:13Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。