論文の概要: Training Convolutional Neural Networks with the Forward-Forward algorithm

• arxiv url: http://arxiv.org/abs/2312.14924v3
• Date: Sun, 7 Jan 2024 10:18:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-01-09 21:48:28.657793
• Title: Training Convolutional Neural Networks with the Forward-Forward algorithm
• Title（参考訳）: 前向きアルゴリズムによる畳み込みニューラルネットワークの学習
• Authors: Riccardo Scodellaro, Ajinkya Kulkarni, Frauke Alves, Matthias Schr\"oter
• Abstract要約: Forward Forward (FF)アルゴリズムは、現在まで完全に接続されたネットワークでしか使われていない。 FFパラダイムをCNNに拡張する方法を示す。 我々のFF学習したCNNは、空間的に拡張された新しいラベリング手法を特徴とし、MNISTの手書き桁データセットにおいて99.16%の分類精度を実現している。
• 参考スコア（独自算出の注目度）: 1.74440662023704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent successes in analyzing images with deep neural networks are almost exclusively achieved with Convolutional Neural Networks (CNNs). The training of these CNNs, and in fact of all deep neural network architectures, uses the backpropagation algorithm where the output of the network is compared with the desired result and the difference is then used to tune the weights of the network towards the desired outcome. In a 2022 preprint, Geoffrey Hinton suggested an alternative way of training which passes the desired results together with the images at the input of the network. This so called Forward Forward (FF) algorithm has up to now only been used in fully connected networks. In this paper, we show how the FF paradigm can be extended to CNNs. Our FF-trained CNN, featuring a novel spatially-extended labeling technique, achieves a classification accuracy of 99.16% on the MNIST hand-written digits dataset. We show how different hyperparameters affect the performance of the proposed algorithm and compare the results with CNN trained with the standard backpropagation approach. Furthermore, we use Class Activation Maps to investigate which type of features are learnt by the FF algorithm.
• Abstract（参考訳）: 最近のディープニューラルネットワークによる画像解析の成功は、畳み込みニューラルネットワーク(CNN)によってほぼ完全に達成されている。 これらのcnnのトレーニングは、実際にはすべてのディープニューラルネットワークアーキテクチャにおいて、ネットワークの出力と望ましい結果を比較するバックプロパゲーションアルゴリズムを使用しており、ネットワークの重み付けを望ましい結果に向けてチューニングするために差が使用される。 2022年のプレプリントで、Geoffrey Hinton氏は、望ましい結果とネットワークの入力時のイメージを渡す別のトレーニング方法を提案した。 このフォーワードフォワード(FF)アルゴリズムは、現在まで完全に接続されたネットワークでしか使われていない。 本稿では,FFパラダイムをCNNに拡張する方法について述べる。 新たな空間拡張ラベリング手法を特徴とするFF学習CNNは,MNIST手書き桁データセットにおいて99.16%の分類精度を実現する。 提案アルゴリズムの性能に異なるハイパーパラメータがどう影響するかを示し、標準バックプロパゲーション手法を用いてトレーニングしたCNNと比較する。 さらに、クラスアクティベーションマップを用いて、FFアルゴリズムによってどの種類の機能が学習されるかを調べる。

関連論文リスト

• Information-Theoretic Greedy Layer-wise Training for Traffic Sign Recognition [0.5024983453990065]
  レイヤワイズトレーニングは、クロスエントロピー損失とバックプロパゲーションの必要性を排除する。 既存の階層的なトレーニングアプローチの多くは、比較的小さなデータセットでのみ評価されている。 本稿では,最近開発された決定論的情報ボトルネック(DIB)と行列に基づくR'enyiの$alpha$-orderエントロピー関数に基づく,階層的学習手法を提案する。
  論文  参考訳（メタデータ） (2025-10-31T17:24:58Z)
• CNN2GNN: How to Bridge CNN with GNN [59.42117676779735]
  蒸留によりCNNとGNNを統一する新しいCNN2GNNフレームワークを提案する。 Mini-ImageNetにおける蒸留ブースターの2層GNNの性能は、ResNet152のような数十層を含むCNNよりもはるかに高い。
  論文  参考訳（メタデータ） (2024-04-23T08:19:08Z)
• Adaptive Growth: Real-time CNN Layer Expansion [0.0]
  本研究では,データ入力に基づいて,畳み込みニューラルネットワーク(CNN)の畳み込み層を動的に進化させるアルゴリズムを提案する。 厳密なアーキテクチャの代わりに、我々のアプローチはカーネルを畳み込み層に反復的に導入し、様々なデータに対してリアルタイムに応答する。 興味深いことに、我々の教師なしの手法は、さまざまなデータセットにまたがって教師なしの手法を上回った。
  論文  参考訳（メタデータ） (2023-09-06T14:43:58Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Speeding Up EfficientNet: Selecting Update Blocks of Convolutional Neural Networks using Genetic Algorithm in Transfer Learning [0.0]
  パラメータを更新するための階層のブロックを選択する遺伝的アルゴリズムを考案する。 提案アルゴリズムは, 精度の点で, ベースラインと同等あるいは良質な結果が得られることを示す。 また、各ブロックの有効性を更新ブロックとして測定するブロック重要度と呼ばれる指標も考案した。
  論文  参考訳（メタデータ） (2023-03-01T06:35:29Z)
• An Efficient Evolutionary Deep Learning Framework Based on Multi-source Transfer Learning to Evolve Deep Convolutional Neural Networks [8.40112153818812]
  畳み込みニューラルネットワーク(CNN)は、より複雑なトポロジを導入し、より深くより広いCNNへのキャパシティを拡大することで、長年にわたって、より優れたパフォーマンスを実現してきた。 計算コストは依然としてCNNを自動設計するボトルネックである。 本稿では, CNNを効率的に進化させるために, トランスファーラーニングにヒントを得て, 新たな進化的計算ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-07T20:22:58Z)
• SAR Despeckling Using Overcomplete Convolutional Networks [53.99620005035804]
  スペックルはSAR画像を劣化させるため、リモートセンシングにおいて重要な問題である。 近年の研究では、畳み込みニューラルネットワーク(CNN)が古典的解法よりも優れていることが示されている。 本研究は、受容場を制限することで低レベルの特徴を学習することに集中するために、過剰なCNNアーキテクチャを用いる。 本稿では,合成および実SAR画像の非特定化手法と比較して,提案手法により非特定化性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-31T15:55:37Z)
• Do We Really Need a Learnable Classifier at the End of Deep Neural Network? [118.18554882199676]
  本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。 実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-03-17T04:34:28Z)
• Recursive Least Squares for Training and Pruning Convolutional Neural Networks [27.089496826735672]
  畳み込みニューラルネットワーク(CNN)は多くの実用化に成功している。 高い計算とストレージ要件により、リソース制約のあるデバイスへのデプロイが困難になる。 本稿では,CNNの訓練と刈り取りのための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-13T07:14:08Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
  本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。 本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
  論文  参考訳（メタデータ） (2021-01-29T07:46:39Z)
• Convolutional Neural Networks for Multispectral Image Cloud Masking [7.812073412066698]
  畳み込みニューラルネットワーク(CNN)は多くの画像分類タスクの最先端技術であることが証明されている。 Proba-Vマルチスペクトル画像のクラウドマスキングにおける異なるCNNアーキテクチャの利用について検討する。
  論文  参考訳（メタデータ） (2020-12-09T21:33:20Z)
• How Convolutional Neural Network Architecture Biases Learned Opponency and Colour Tuning [1.0742675209112622]
  最近の研究は、第2層にボトルネックを導入して畳み込みニューラルネットワーク(CNN)アーキテクチャを変更することで、学習機能の変化をもたらすことを示唆している。 この関係を完全に理解するには、訓練されたネットワークを定量的に比較する方法が必要である。 畳み込みニューロンに対する空間的および色調曲線を得るためのアプローチを提案する。
  論文  参考訳（メタデータ） (2020-10-06T11:33:48Z)
• Embedded Encoder-Decoder in Convolutional Networks Towards Explainable AI [0.0]
  本稿では,刺激の視覚的特徴を表す新しい説明可能な畳み込みニューラルネットワーク(XCNN)を提案する。 CIFAR-10, Tiny ImageNet, MNISTデータセットを用いた実験結果から, 提案アルゴリズム (XCNN) をCNNで説明可能なものにすることに成功した。
  論文  参考訳（メタデータ） (2020-06-19T15:49:39Z)
• The Neural Tangent Link Between CNN Denoisers and Non-Local Filters [4.254099382808598]
  畳み込みニューラルネットワーク(CNN)は現在、計算画像問題を解決するための確立されたツールである。 ニューラルネットワークタンジェント(NTK)とよく知られた非局所フィルタリング技術によるネットワーク間の公式なリンクを導入する。 本研究は,広範囲な画像復号化実験により評価した。
  論文  参考訳（メタデータ） (2020-06-03T16:50:54Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Backprojection for Training Feedforward Neural Networks in the Input and Feature Spaces [12.323996999894002]
  本稿では,バックプロパゲーションよりもかなり高速なフィードフォワードニューラルネットワークのトレーニングアルゴリズムを提案する。 提案アルゴリズムは、それぞれバックプロジェクションとカーネルバックプロジェクションと呼ばれる入力空間と特徴空間の両方に利用できる。
  論文  参考訳（メタデータ） (2020-04-05T20:53:11Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• Curriculum By Smoothing [52.08553521577014]
  畳み込みニューラルネットワーク(CNN)は、画像分類、検出、セグメンテーションなどのコンピュータビジョンタスクにおいて顕著な性能を示している。 アンチエイリアスフィルタやローパスフィルタを用いてCNNの機能埋め込みを円滑化するエレガントなカリキュラムベースのスキームを提案する。 トレーニング中に特徴マップ内の情報量が増加するにつれて、ネットワークはデータのより優れた表現を徐々に学習することができる。
  論文  参考訳（メタデータ） (2020-03-03T07:27:44Z)
• Computational optimization of convolutional neural networks using separated filters architecture [69.73393478582027]
  我々は、計算複雑性を低減し、ニューラルネットワーク処理を高速化する畳み込みニューラルネットワーク変換を考える。 畳み込みニューラルネットワーク(CNN)の使用は、計算的に要求が多すぎるにもかかわらず、画像認識の標準的なアプローチである。
  論文  参考訳（メタデータ） (2020-02-18T17:42:13Z)
• Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks [52.972605601174955]
  本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。 Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
  論文  参考訳（メタデータ） (2019-03-24T19:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。