論文の概要: Gradients without Backpropagation
- arxiv url: http://arxiv.org/abs/2202.08587v1
- Date: Thu, 17 Feb 2022 11:07:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-18 14:34:42.468472
- Title: Gradients without Backpropagation
- Title(参考訳): バックプロパゲーションのない勾配
- Authors: At{\i}l{\i}m G\"une\c{s} Baydin, Barak A. Pearlmutter, Don Syme, Frank
Wood, Philip Torr
- Abstract要約: 本稿では、フォワードモードによって正確に効率的に計算できる方向微分のみに基づいて勾配を計算する方法を提案する。
様々な問題において前方降下勾配を示し、計算の大幅な削減を示し、場合によっては最大2倍の速さで訓練を可能にする。
- 参考スコア(独自算出の注目度): 16.928279365071916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Using backpropagation to compute gradients of objective functions for
optimization has remained a mainstay of machine learning. Backpropagation, or
reverse-mode differentiation, is a special case within the general family of
automatic differentiation algorithms that also includes the forward mode. We
present a method to compute gradients based solely on the directional
derivative that one can compute exactly and efficiently via the forward mode.
We call this formulation the forward gradient, an unbiased estimate of the
gradient that can be evaluated in a single forward run of the function,
entirely eliminating the need for backpropagation in gradient descent. We
demonstrate forward gradient descent in a range of problems, showing
substantial savings in computation and enabling training up to twice as fast in
some cases.
- Abstract(参考訳): 最適化のために目的関数の勾配を計算するためにバックプロパゲーションを使うことは、機械学習のメインスタンスである。
バックプロパゲーション(backpropagation)またはリバースモード微分(reverse-mode differentiation)は、フォワードモードを含む自動微分アルゴリズムの一般ファミリーにおける特別なケースである。
本稿では,フォワードモードを通じて正確に効率的に計算できる方向微分のみに基づいて勾配を計算する手法を提案する。
この定式化をフォワード勾配と呼び、関数の1回のフォワードランで評価できる勾配の偏りのない推定と呼び、勾配降下におけるバックプロパゲーションの必要性を完全に排除する。
我々は,様々な問題において前方勾配降下を示し,計算量を大幅に削減し,場合によっては最大2倍の速さでトレーニングできることを示した。
関連論文リスト
- Can Forward Gradient Match Backpropagation? [2.875726839945885]
フォワードグラディエントはニューラルネットワークトレーニングに有効であることが示されている。
我々は、小さな局所的な補助ネットワークから得られるフィードバックなど、より有望な方向の勾配推定を強く偏り付けることを提案する。
局所損失から得られた勾配を候補方向として用いた場合,前方勾配法におけるランダムノイズを大幅に改善することがわかった。
論文 参考訳(メタデータ) (2023-06-12T08:53:41Z) - Asymptotically efficient one-step stochastic gradient descent [62.997667081978825]
これはフィッシャースコアリングアルゴリズムの単一ステップで補正された対数型関数の勾配勾配に基づいている。
理論的およびシミュレーションにより、これは平均勾配あるいは適応勾配勾配の通常の勾配勾配の代替として興味深いものであることをi.d設定で示す。
論文 参考訳(メタデータ) (2023-06-09T13:43:07Z) - Optimization without Backpropagation [0.0]
前向き勾配は、自己微分のバックプロパゲーションをバイパスするために導入された。
我々は、最良近似前方勾配を得る最適条件を導出する。
論文 参考訳(メタデータ) (2022-09-13T21:09:34Z) - Random-reshuffled SARAH does not need a full gradient computations [61.85897464405715]
StochAstic Recursive grAdientritHm (SARAH)アルゴリズムは、Gradient Descent (SGD)アルゴリズムのばらつき低減版である。
本稿では,完全勾配の必要性を除去する。
集約された勾配は、SARAHアルゴリズムの完全な勾配の見積もりとなる。
論文 参考訳(メタデータ) (2021-11-26T06:00:44Z) - On Training Implicit Models [75.20173180996501]
ファントム勾配(ファントム勾配)と呼ばれる暗黙モデルに対する新しい勾配推定法を提案し、正確な勾配の計算コストを抑える。
大規模タスクの実験では、これらの軽量ファントム勾配が暗黙の訓練モデルの後方通過を約1.7倍加速することを示した。
論文 参考訳(メタデータ) (2021-11-09T14:40:24Z) - Stochasticity helps to navigate rough landscapes: comparing
gradient-descent-based algorithms in the phase retrieval problem [8.164433158925593]
本研究では,動的降下,永続勾配,ランジュバン景観降下などの解析ベースアルゴリズムについて検討する。
統計的軌道からの統計場理論をアルゴリズムにフルタイムで適用し、開始時と大規模なシステムサイズで適用します。
論文 参考訳(メタデータ) (2021-03-08T17:06:18Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳(メタデータ) (2020-12-21T17:29:58Z) - Reparametrizing gradient descent [0.0]
本稿では,ノルム適応勾配勾配という最適化アルゴリズムを提案する。
我々のアルゴリズムは準ニュートン法と比較することもできるが、定常点ではなく根を求める。
論文 参考訳(メタデータ) (2020-10-09T20:22:29Z) - Channel-Directed Gradients for Optimization of Convolutional Neural
Networks [50.34913837546743]
本稿では,畳み込みニューラルネットワークの最適化手法を提案する。
出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
論文 参考訳(メタデータ) (2020-08-25T00:44:09Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳(メタデータ) (2020-06-16T13:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。