論文の概要: The Cascaded Forward Algorithm for Neural Network Training
- arxiv url: http://arxiv.org/abs/2303.09728v2
- Date: Fri, 24 Mar 2023 12:22:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-27 17:27:16.125825
- Title: The Cascaded Forward Algorithm for Neural Network Training
- Title（参考訳）: ニューラルネットワークトレーニングのためのカスケードフォワードアルゴリズム
- Authors: Gongpei Zhao, Tao Wang, Yidong Li, Yi Jin, Congyan Lang, Haibin Ling
- Abstract要約: 本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
- 参考スコア（独自算出の注目度）: 72.70427821516941
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Backpropagation algorithm has been widely used as a mainstream learning
procedure for neural networks in the past decade, and has played a significant
role in the development of deep learning. However, there exist some limitations
associated with this algorithm, such as getting stuck in local minima and
experiencing vanishing/exploding gradients, which have led to questions about
its biological plausibility. To address these limitations, alternative
algorithms to backpropagation have been preliminarily explored, with the
Forward-Forward (FF) algorithm being one of the most well-known. In this paper
we propose a new learning framework for neural networks, namely Cascaded
Forward (CaFo) algorithm, which does not rely on BP optimization as that in FF.
Unlike FF, our framework directly outputs label distributions at each cascaded
block, which does not require generation of additional negative samples and
thus leads to a more efficient process at both training and testing. Moreover,
in our framework each block can be trained independently, so it can be easily
deployed into parallel acceleration systems. The proposed method is evaluated
on four public image classification benchmarks, and the experimental results
illustrate significant improvement in prediction accuracy in comparison with
the baseline.
- Abstract（参考訳）: バックプロパゲーションアルゴリズムは、過去10年間、ニューラルネットワークの主流となる学習手順として広く使われてきた。
しかし、このアルゴリズムにはいくつかの制限があり、例えば局所的な極小さに固執し、その生物学的な可能性に関する疑問を引き起こした。
これらの制限に対処するために、バックプロパゲーションの代替アルゴリズムが事前に検討されており、フォワードフォワード(ff)アルゴリズムがよく知られている。
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力するが、これは追加の負のサンプルの生成を必要としないため、トレーニングとテストの両方においてより効率的なプロセスにつながる。
さらに,我々のフレームワークでは,各ブロックを独立して訓練することが可能であり,並列加速度システムに容易に展開できる。
提案手法を4つの公開画像分類ベンチマークで評価し, 実験結果から, ベースラインと比較した場合の予測精度が有意に向上することを示した。
関連論文リスト
- Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。
圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
論文 参考訳（メタデータ） (2024-09-19T17:56:16Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - Deep learning via message passing algorithms based on belief propagation [2.931240348160871]
本稿では,局所的なエントロピー分布に偏りを持つ強化場を有するBPベースのメッセージパッシングアルゴリズムのファミリについて述べる。
これらのアルゴリズムは、SGDにインスパイアされたソリューションに匹敵するパフォーマンスで、離散重みとアクティベーションを持つ多層ニューラルネットワークをトレーニングすることができる。
論文 参考訳（メタデータ） (2021-10-27T16:52:26Z) - Sparse Deep Learning: A New Framework Immune to Local Traps and
Miscalibration [12.05471394131891]
我々は、上記の問題を一貫性のある方法で解決する、疎いディープラーニングのための新しいフレームワークを提供する。
我々はスパース深層学習の理論的基礎を築き,スパースニューラルネットワークの学習に先立つアニールアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-10-01T21:16:34Z) - Benchmarking the Accuracy and Robustness of Feedback Alignment
Algorithms [1.2183405753834562]
バックプロパゲーションは、その単純さ、効率性、高収束率のために、ディープニューラルネットワークをトレーニングするためのデフォルトのアルゴリズムである。
近年,より生物学的に妥当な学習法が提案されている。
BioTorchは、生物学的に動機付けられたニューラルネットワークを作成し、トレーニングし、ベンチマークするソフトウェアフレームワークである。
論文 参考訳（メタデータ） (2021-08-30T18:02:55Z) - Phase Retrieval using Expectation Consistent Signal Recovery Algorithm
based on Hypernetwork [73.94896986868146]
位相検索は現代の計算イメージングシステムにおいて重要な要素である。
近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。
我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
論文 参考訳（メタデータ） (2021-01-12T08:36:23Z) - Improving the Backpropagation Algorithm with Consequentialism Weight
Updates over Mini-Batches [0.40611352512781856]
適応フィルタのスタックとして多層ニューラルネットワークを考えることが可能であることを示す。
我々は,BPで発生した行動の悪影響を予測し,その発生前にも予測し,よりよいアルゴリズムを導入する。
我々の実験は、ディープニューラルネットワークのトレーニングにおけるアルゴリズムの有用性を示す。
論文 参考訳（メタデータ） (2020-03-11T08:45:36Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z) - An improved online learning algorithm for general fuzzy min-max neural
network [11.631815277762257]
本稿では,一般ファジィmin-maxニューラルネット(GFMM)のための現在のオンライン学習アルゴリズムの改良版を提案する。
提案手法では、重なり合うハイパーボックスの収縮過程は使用せず、エラー率を増大させる可能性が高い。
オンライン学習アルゴリズムでは,トレーニングサンプルの提示順序に対する感度を低減するために,簡単なアンサンブル法を提案する。
論文 参考訳（メタデータ） (2020-01-08T06:24:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。