Fugu-MT 論文翻訳(概要): Reverse Back Propagation to Make Full Use of Derivative

論文の概要: Reverse Back Propagation to Make Full Use of Derivative

arxiv url: http://arxiv.org/abs/2202.06316v1
Date: Sun, 13 Feb 2022 13:56:46 GMT
ステータス: 処理完了
システム内更新日: 2022-02-15 18:12:34.495230
Title: Reverse Back Propagation to Make Full Use of Derivative
Title（参考訳）: リバースバックプロパゲーションによる誘導体の完全活用
Authors: Weiming Xiong, Ruoyu Yang
Abstract要約: 従来のバックプロパゲーションプロセスを逆転させるために、バックプロパゲーションを再び実施するアプローチを提供する。 MNIST、CIFAR10、CIFAR100の実験は、我々のアプローチがより幅広い学習率に適応できると確信した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The development of the back-propagation algorithm represents a landmark in neural networks. We provide an approach that conducts the back-propagation again to reverse the traditional back-propagation process to optimize the input loss at the input end of a neural network for better effects without extra costs during the inference time. Then we further analyzed its principles and advantages and disadvantages, reformulated the weight initialization strategy for our method. And experiments on MNIST, CIFAR10, and CIFAR100 convinced our approaches could adapt to a larger range of learning rate and learn better than vanilla back-propagation.
Abstract（参考訳）: バックプロパゲーションアルゴリズムの開発は、ニューラルネットワークにおけるランドマークを表している。従来のバックプロパゲーションプロセスを逆転させ、ニューラルネットワークの入力端における入力損失を最適化し、推論時間中に余分なコストを伴わずに効果を改善するアプローチを提案する。さらに,その原理,利点,欠点を解析し,本手法の重量初期化戦略を改訂した。そして、MNIST、CIFAR10、CIFAR100の実験は、我々のアプローチがより幅広い学習率に適応し、バニラのバックプロパゲーションよりも優れた学習ができると確信した。

関連論文リスト

Component-based Sketching for Deep ReLU Nets [55.404661149594375]
各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
論文参考訳（メタデータ） (2024-09-21T15:30:43Z)
Advancing Neural Network Performance through Emergence-Promoting Initialization Scheme [0.0]
本稿では,ニューラルネットワークの初期化手法を提案する。この手法は,Li(2023)が提案する出現対策の概念にインスパイアされ,より高い出現値を達成するために,レイヤワイド・ウェイト・スケーリング・ファクタを調整した。バッチ正規化の有無にかかわらず,モデル精度とトレーニング速度の両面で大幅に向上したことを示す。
論文参考訳（メタデータ） (2024-07-26T18:56:47Z)
Learning by the F-adjoint [0.0]
本研究では、フィードフォワードニューラルネットワークのための教師付き学習アルゴリズムを改善するための理論的枠組みを開発し、検討する。我々の主な結果は、勾配降下法と組み合わせた神経力学モデルを導入することにより、平衡F-随伴過程を導出したことである。 MNISTとFashion-MNISTデータセットの実験結果は、提案手法が標準バックプロパゲーショントレーニング手順を大幅に改善することを示した。
論文参考訳（メタデータ） (2024-07-08T13:49:25Z)
The Predictive Forward-Forward Algorithm [79.07468367923619]
本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。 PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
論文参考訳（メタデータ） (2023-01-04T05:34:48Z)
Low-Variance Forward Gradients using Direct Feedback Alignment and Momentum [0.0]
本稿では,アクティビティ・パータード・フォワード・グラディエントと直接フィードバックアライメントとモーメントを組み合わせたアルゴリズムを提案する。我々のアプローチは、バックプロパゲーションの他のローカル代替手段と比較して、より高速な収束と性能の向上を可能にします。
論文参考訳（メタデータ） (2022-12-14T15:30:56Z)
A Provably Efficient Model-Free Posterior Sampling Method for Episodic Reinforcement Learning [50.910152564914405]
強化学習のための既存の後方サンプリング手法は、モデルベースであるか、線形MDPを超える最悪の理論的保証がないかによって制限される。本稿では,理論的保証を伴うより一般的な補足的強化学習問題に適用可能な,後部サンプリングのモデルフリーな新しい定式化を提案する。
論文参考訳（メタデータ） (2022-08-23T12:21:01Z)
NerfingMVS: Guided Optimization of Neural Radiance Fields for Indoor Multi-view Stereo [97.07453889070574]
本稿では,従来のSfM再構成と学習に基づく先行手法を併用した多視点深度推定手法を提案する。提案手法は室内シーンにおける最先端手法を著しく上回ることを示す。
論文参考訳（メタデータ） (2021-09-02T17:54:31Z)
Multiplicative Reweighting for Robust Neural Network Optimization [51.67267839555836]
MW(multiplicative weight)更新は、専門家のアドバイスにより、適度なデータ破損に対して堅牢である。 MWはラベルノイズの存在下でニューラルネットワークの精度を向上することを示す。
論文参考訳（メタデータ） (2021-02-24T10:40:25Z)
Kernel-Based Smoothness Analysis of Residual Networks [85.20737467304994]
ResNets(Residual Networks)は、これらの強力なモダンアーキテクチャの中でも際立っている。本稿では,2つのモデル,すなわちResNetsが勾配よりもスムーズな傾向を示す。
論文参考訳（メタデータ） (2020-09-21T16:32:04Z)
Retrospective Loss: Looking Back to Improve Training of Deep Neural Networks [15.329684157845872]
我々は、ディープニューラルネットワークモデルのトレーニングを改善するために、新しい振り返り損失を導入する。レトロスペクティブの損失を最小限に抑え、タスク固有の損失と共に、現在のトレーニングステップでパラメータ状態を最適なパラメータ状態にプッシュします。簡単なアイデアではあるが、我々はこの手法を解析し、ドメイン全体にわたる包括的な実験を行う。
論文参考訳（メタデータ） (2020-06-24T10:16:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。