論文の概要: Gradients without Backpropagation

• arxiv url: http://arxiv.org/abs/2202.08587v1
• Date: Thu, 17 Feb 2022 11:07:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-18 14:34:42.468472
• Title: Gradients without Backpropagation
• Title（参考訳）: バックプロパゲーションのない勾配
• Authors: At{\i}l{\i}m G\"une\c{s} Baydin, Barak A. Pearlmutter, Don Syme, Frank Wood, Philip Torr
• Abstract要約: 本稿では、フォワードモードによって正確に効率的に計算できる方向微分のみに基づいて勾配を計算する方法を提案する。 様々な問題において前方降下勾配を示し、計算の大幅な削減を示し、場合によっては最大2倍の速さで訓練を可能にする。
• 参考スコア（独自算出の注目度）: 16.928279365071916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Using backpropagation to compute gradients of objective functions for optimization has remained a mainstay of machine learning. Backpropagation, or reverse-mode differentiation, is a special case within the general family of automatic differentiation algorithms that also includes the forward mode. We present a method to compute gradients based solely on the directional derivative that one can compute exactly and efficiently via the forward mode. We call this formulation the forward gradient, an unbiased estimate of the gradient that can be evaluated in a single forward run of the function, entirely eliminating the need for backpropagation in gradient descent. We demonstrate forward gradient descent in a range of problems, showing substantial savings in computation and enabling training up to twice as fast in some cases.
• Abstract（参考訳）: 最適化のために目的関数の勾配を計算するためにバックプロパゲーションを使うことは、機械学習のメインスタンスである。 バックプロパゲーション(backpropagation)またはリバースモード微分(reverse-mode differentiation)は、フォワードモードを含む自動微分アルゴリズムの一般ファミリーにおける特別なケースである。 本稿では,フォワードモードを通じて正確に効率的に計算できる方向微分のみに基づいて勾配を計算する手法を提案する。 この定式化をフォワード勾配と呼び、関数の1回のフォワードランで評価できる勾配の偏りのない推定と呼び、勾配降下におけるバックプロパゲーションの必要性を完全に排除する。 我々は,様々な問題において前方勾配降下を示し,計算量を大幅に削減し,場合によっては最大2倍の速さでトレーニングできることを示した。

関連論文リスト

• Beyond Backpropagation: Optimization with Multi-Tangent Forward Gradients [0.08388591755871733]
  前向き勾配は、前方モード自動微分によって計算されたランダム接線に沿った方向微分からの勾配を近似するアプローチである。 本稿では,マルチタングルト前方勾配の詳細な解析を行い,プロジェクションに基づく複数の接点からの前方勾配を組み合わせるための改良されたアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-23T11:02:59Z)
• Forward Gradient-Based Frank-Wolfe Optimization for Memory Efficient Deep Neural Network Training [0.0]
  本稿では,よく知られたFrank-Wolfeアルゴリズムの性能解析に焦点をあてる。 提案アルゴリズムは, 最適解に収束し, サブ線形収束率を示す。 対照的に、標準的なフランク=ウルフアルゴリズムは、プロジェクテッド・フォワード・グラディエントへのアクセスを提供すると、最適解に収束しない。
  論文  参考訳（メタデータ） (2024-03-19T07:25:36Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• One-step corrected projected stochastic gradient descent for statistical estimation [49.1574468325115]
  これは、Fisherスコアリングアルゴリズムの1ステップで修正されたログ様関数の予測勾配勾配に基づいている。 理論およびシミュレーションにより、平均勾配勾配や適応勾配勾配の通常の勾配勾配の代替として興味深いものであることを示す。
  論文  参考訳（メタデータ） (2023-06-09T13:43:07Z)
• Random-reshuffled SARAH does not need a full gradient computations [61.85897464405715]
  StochAstic Recursive grAdientritHm (SARAH)アルゴリズムは、Gradient Descent (SGD)アルゴリズムのばらつき低減版である。 本稿では,完全勾配の必要性を除去する。 集約された勾配は、SARAHアルゴリズムの完全な勾配の見積もりとなる。
  論文  参考訳（メタデータ） (2021-11-26T06:00:44Z)
• On Training Implicit Models [75.20173180996501]
  ファントム勾配(ファントム勾配)と呼ばれる暗黙モデルに対する新しい勾配推定法を提案し、正確な勾配の計算コストを抑える。 大規模タスクの実験では、これらの軽量ファントム勾配が暗黙の訓練モデルの後方通過を約1.7倍加速することを示した。
  論文  参考訳（メタデータ） (2021-11-09T14:40:24Z)
• Stochasticity helps to navigate rough landscapes: comparing gradient-descent-based algorithms in the phase retrieval problem [8.164433158925593]
  本研究では,動的降下,永続勾配,ランジュバン景観降下などの解析ベースアルゴリズムについて検討する。 統計的軌道からの統計場理論をアルゴリズムにフルタイムで適用し、開始時と大規模なシステムサイズで適用します。
  論文  参考訳（メタデータ） (2021-03-08T17:06:18Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
  本稿では,畳み込みニューラルネットワークの最適化手法を提案する。 出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
  論文  参考訳（メタデータ） (2020-08-25T00:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。