論文の概要: The Integrated Forward-Forward Algorithm: Integrating Forward-Forward
and Shallow Backpropagation With Local Losses
- arxiv url: http://arxiv.org/abs/2305.12960v1
- Date: Mon, 22 May 2023 12:10:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 16:23:21.482702
- Title: The Integrated Forward-Forward Algorithm: Integrating Forward-Forward
and Shallow Backpropagation With Local Losses
- Title（参考訳）: フォワードフォワードアルゴリズムの統合:局所的損失を伴うフォワードフォワードと浅いバックプロパゲーションの統合
- Authors: Desmond Y.M. Tang
- Abstract要約: 本稿では,FFAと浅部バックプロパゲーションの双方の強度を組み合わせた統合手法を提案する。
Integrated Forward-Forward Algorithmでニューラルネットワークをトレーニングすることは、ロバストネスのような有利な特徴を持つニューラルネットワークを生成する可能性を秘めている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The backpropagation algorithm, despite its widespread use in neural network
learning, may not accurately emulate the human cortex's learning process.
Alternative strategies, such as the Forward-Forward Algorithm (FFA), offer a
closer match to the human cortex's learning characteristics. However, the
original FFA paper and related works on the Forward-Forward Algorithm only
mentioned very limited types of neural network mechanisms and may limit its
application and effectiveness. In response to these challenges, we propose an
integrated method that combines the strengths of both FFA and shallow
backpropagation, yielding a biologically plausible neural network training
algorithm which can also be applied to various network structures. We applied
this integrated approach to the classification of the Modified National
Institute of Standards and Technology (MNIST) database, where it outperformed
FFA and demonstrated superior resilience to noise compared to backpropagation.
We show that training neural networks with the Integrated Forward-Forward
Algorithm has the potential of generating neural networks with advantageous
features like robustness.
- Abstract（参考訳）: バックプロパゲーションアルゴリズムは、ニューラルネットワーク学習に広く使われているにもかかわらず、人間の皮質の学習プロセスを正確にエミュレートするものではない。
フォワードフォワードアルゴリズム(FFA)のような代替戦略は、人間の皮質の学習特性と密接に一致している。
しかし、ffaの論文および関連する研究は、非常に限られた種類のニューラルネットワークメカニズムのみに言及しており、その応用と有効性を制限する可能性がある。
これらの課題に対応するために、我々は、FFAと浅部バックプロパゲーションの長所を組み合わせた統合的な手法を提案し、様々なネットワーク構造にも適用可能な、生物学的に妥当なニューラルネットワークトレーニングアルゴリズムを提供する。
改良国立標準技術研究所 (MNIST) データベースの分類にこの統合手法を適用し, FFAより優れ, バックプロパゲーションに比べて耐雑音性に優れた。
フォワードアルゴリズムを組み込んだニューラルネットワークのトレーニングは,ロバスト性などの有利な特徴を持つニューラルネットワークを生成する可能性を秘めている。
関連論文リスト
- Deep Learning Meets Adaptive Filtering: A Stein's Unbiased Risk
Estimator Approach [13.887632153924512]
本稿では,Deep RLSとDeep EASIというタスクベースのディープラーニングフレームワークを紹介する。
これらのアーキテクチャは、元のアルゴリズムの繰り返しをディープニューラルネットワークの層に変換し、効率的なソース信号推定を可能にする。
性能をさらに向上するために、我々は、スタインの非バイアスリスク推定器(SURE)に基づく代理損失関数を用いた、これらの深層無ロールネットワークのトレーニングを提案する。
論文 参考訳（メタデータ） (2023-07-31T14:26:41Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳（メタデータ） (2023-03-17T02:01:11Z) - Training neural networks with structured noise improves classification and generalization [0.0]
ノイズの多いトレーニングデータに構造を加えることで,アルゴリズムの性能が大幅に向上することを示す。
また,Hebbian Unlearning(ヘビアン・アンラーニング・ルール)と呼ばれる規則は,雑音が最大値である場合のトレーニング・ウィズ・ノイズ・アルゴリズムと一致することを証明した。
論文 参考訳（メタデータ） (2023-02-26T22:10:23Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳（メタデータ） (2021-05-27T12:27:24Z) - Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。
従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文 参考訳（メタデータ） (2021-03-09T14:51:34Z) - Learning for Integer-Constrained Optimization through Neural Networks
with Limited Training [28.588195947764188]
我々は、その構成成分の機能の観点から完全に解釈可能な、対称的で分解されたニューラルネットワーク構造を導入する。
整数制約の根底にあるパターンを活用することで、導入されたニューラルネットワークは、限られたトレーニングでより優れた一般化性能を提供する。
提案手法は, 半分解フレームワークにさらに拡張可能であることを示す。
論文 参考訳（メタデータ） (2020-11-10T21:17:07Z) - Stochastic Markov Gradient Descent and Training Low-Bit Neural Networks [77.34726150561087]
本稿では,量子化ニューラルネットワークのトレーニングに適用可能な離散最適化手法であるGradient Markov Descent (SMGD)を紹介する。
アルゴリズム性能の理論的保証と数値的な結果の促進を提供する。
論文 参考訳（メタデータ） (2020-08-25T15:48:15Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-02T15:38:44Z) - A Hybrid Method for Training Convolutional Neural Networks [3.172761915061083]
本稿では,畳み込みニューラルネットワークの学習にバックプロパゲーションと進化戦略の両方を用いるハイブリッド手法を提案する。
画像分類のタスクにおいて,提案手法は定期的な訓練において改善可能であることを示す。
論文 参考訳（メタデータ） (2020-04-15T17:52:48Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。