Fugu-MT 論文翻訳(概要): A Novel Method for improving accuracy in neural network by reinstating traditional back propagation technique

論文の概要: A Novel Method for improving accuracy in neural network by reinstating traditional back propagation technique

arxiv url: http://arxiv.org/abs/2308.05059v1
Date: Wed, 9 Aug 2023 16:41:00 GMT
ステータス: 処理完了
システム内更新日: 2023-08-10 12:53:26.973991
Title: A Novel Method for improving accuracy in neural network by reinstating traditional back propagation technique
Title（参考訳）: 従来のバック伝搬手法を再検討したニューラルネットワークの精度向上手法
Authors: Gokulprasath R
Abstract要約: 本稿では,各層における勾配計算の必要性を解消する新しい瞬時パラメータ更新手法を提案する。提案手法は,学習を加速し,消失する勾配問題を回避し,ベンチマークデータセット上で最先端の手法より優れる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep learning has revolutionized industries like computer vision, natural language processing, and speech recognition. However, back propagation, the main method for training deep neural networks, faces challenges like computational overhead and vanishing gradients. In this paper, we propose a novel instant parameter update methodology that eliminates the need for computing gradients at each layer. Our approach accelerates learning, avoids the vanishing gradient problem, and outperforms state-of-the-art methods on benchmark data sets. This research presents a promising direction for efficient and effective deep neural network training.
Abstract（参考訳）: ディープラーニングはコンピュータビジョン、自然言語処理、音声認識といった産業に革命をもたらした。しかし、ディープニューラルネットワークをトレーニングする主要な方法であるバックプロパゲーションは、計算オーバーヘッドや勾配の消失といった課題に直面している。本稿では,各層での計算勾配を不要とした新しい瞬時パラメータ更新手法を提案する。提案手法は,学習を加速し,勾配問題を回避し,ベンチマークデータセット上で最先端の手法より優れる。本研究は、効率的かつ効果的なディープニューラルネットワークトレーニングのための有望な方向性を示す。

関連論文リスト

Active Learning of Deep Neural Networks via Gradient-Free Cutting Planes [40.68266398473983]
本研究では,任意の深さのReLULUネットワークに対して,斬新な切削平面法による能動的学習手法について検討する。非線形収束にもかかわらず、これらのアルゴリズムはディープニューラルネットワークに拡張可能であることを実証する。提案手法は,データ実験と実データセットの分類の両方を通じて,一般的な深層学習ベースラインに対する有効性を示す。
論文参考訳（メタデータ） (2024-10-03T02:11:35Z)
Gradient-Free Training of Recurrent Neural Networks using Random Perturbations [1.1742364055094265]
リカレントニューラルネットワーク(RNN)は、チューリング完全性とシーケンシャルな処理能力のために、計算の潜在能力を秘めている。時間によるバックプロパゲーション(BPTT)は、時間とともにRNNをアンロールすることでバックプロパゲーションアルゴリズムを拡張する。 BPTTは、前方と後方のフェーズをインターリーブし、正確な勾配情報を格納する必要があるなど、大きな欠点に悩まされている。 BPTTと競合するRNNにおける摂動学習に対する新しいアプローチを提案する。
論文参考訳（メタデータ） (2024-05-14T21:15:29Z)
Approximated Likelihood Ratio: A Forward-Only and Parallel Framework for Boosting Neural Network Training [30.452060061499523]
本稿では、勾配推定における計算およびメモリ要求を軽減するために、LR法を近似する手法を提案する。ニューラルネットワークトレーニングにおける近似手法の有効性を実験により実証した。
論文参考訳（メタデータ） (2024-03-18T23:23:50Z)
Take A Shortcut Back: Mitigating the Gradient Vanishing for Training Spiking Neural Networks [15.691263438655842]
Spiking Neural Network(SNN)は生物学的にインスパイアされたニューラルネットワーク基盤であり、最近大きな注目を集めている。 SNNの訓練は、発射スパイクプロセスの未定義の勾配のため、直接的に挑戦する。本論文では,損失から浅い層に直接勾配を伝達する手法を提案する。
論文参考訳（メタデータ） (2024-01-09T10:54:41Z)
Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文参考訳（メタデータ） (2023-03-05T17:57:33Z)
Neural Maximum A Posteriori Estimation on Unpaired Data for Motion Deblurring [87.97330195531029]
本稿では、ニューラルネットワークをトレーニングし、失明したデータから視覚情報や鋭いコンテンツを復元するためのニューラルネットワークの最大Aポストエリオリ(NeurMAP)推定フレームワークを提案する。提案されたNeurMAPは、既存のデブロアリングニューラルネットワークに対するアプローチであり、未使用データセット上のイメージデブロアリングネットワークのトレーニングを可能にする最初のフレームワークである。
論文参考訳（メタデータ） (2022-04-26T08:09:47Z)
Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。学習過程において隠れた層内のニューロンの多様性を探索する。ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
論文参考訳（メタデータ） (2021-09-20T15:12:16Z)
Backward Gradient Normalization in Deep Neural Networks [68.8204255655161]
ニューラルネットワークトレーニングにおける勾配正規化のための新しい手法を提案する。勾配は、ネットワークアーキテクチャ内の特定の点で導入された正規化レイヤを使用して、後方通過中に再スケールされる。非常に深いニューラルネットワークを用いたテストの結果、新しい手法が勾配ノルムを効果的に制御できることが示されている。
論文参考訳（メタデータ） (2021-06-17T13:24:43Z)
Brain-Inspired Learning on Neuromorphic Substrates [5.279475826661643]
本稿では、ニューロモルフィック基板のための実用的なオンライン学習アルゴリズムの設計のための数学的枠組みを提供する。具体的には、リアルタイムリカレントラーニング(RTRL)と、スパイキングニューラルネットワーク(SNN)をトレーニングするための生物学的に妥当な学習規則との直接的な関連を示す。我々はブロック対角ジャコビアンに基づくスパース近似を動機付け、アルゴリズムの計算複雑性を低減する。
論文参考訳（メタデータ） (2020-10-22T17:56:59Z)
Binary Neural Networks: A Survey [126.67799882857656]
バイナリニューラルネットワークは、リソース制限されたデバイスにディープモデルをデプロイするための有望なテクニックとして機能する。バイナライゼーションは必然的に深刻な情報損失を引き起こし、さらに悪いことに、その不連続性はディープネットワークの最適化に困難をもたらす。本稿では,2項化を直接実施するネイティブソリューションと,量子化誤差の最小化,ネットワーク損失関数の改善,勾配誤差の低減といった手法を用いて,これらのアルゴリズムを探索する。
論文参考訳（メタデータ） (2020-03-31T16:47:20Z)
Large Batch Training Does Not Need Warmup [111.07680619360528]
大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
論文参考訳（メタデータ） (2020-02-04T23:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。