論文の概要: Randomized Forward Mode of Automatic Differentiation For Optimization Algorithms

• arxiv url: http://arxiv.org/abs/2310.14168v3
• Date: Thu, 1 Feb 2024 20:33:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 19:27:49.113564
• Title: Randomized Forward Mode of Automatic Differentiation For Optimization Algorithms
• Title（参考訳）: 最適化アルゴリズムの自動微分のランダム化フォワードモード
• Authors: Khemraj Shukla and Yeonjong Shin
• Abstract要約: バックプロパゲーションの代替としてランダム化フォワードモード勾配(RFG)を提案する。 確率分布はRFGの統計特性を決定する。 勾配をRFGに置き換えることで、RFGに基づく最適化アルゴリズムのクラスが得られる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a randomized forward mode gradient (RFG) as an alternative to backpropagation. RFG is a random estimator for the gradient that is constructed based on the directional derivative along a random vector. The forward mode automatic differentiation (AD) provides an efficient computation of RFG. The probability distribution of the random vector determines the statistical properties of RFG. Through the second moment analysis, we found that the distribution with the smallest kurtosis yields the smallest expected relative squared error. By replacing gradient with RFG, a class of RFG-based optimization algorithms is obtained. By focusing on gradient descent (GD) and Polyak's heavy ball (PHB) methods, we present a convergence analysis of RFG-based optimization algorithms for quadratic functions. Computational experiments are presented to demonstrate the performance of the proposed algorithms and verify the theoretical findings.
• Abstract（参考訳）: バックプロパゲーションの代替としてランダム化フォワードモード勾配(RFG)を提案する。 RFGは、ランダムベクトルに沿った方向微分に基づいて構築される勾配のランダム推定器である。 前モード自動微分(AD)は、RFGの効率的な計算を提供する。 確率ベクトルの確率分布は、rfgの統計的性質を決定する。 第2のモーメント解析により,最小のクルトシスを持つ分布は最小の予測相対二乗誤差を生じさせることがわかった。 勾配をRFGに置き換えることで、RFGに基づく最適化アルゴリズムのクラスが得られる。 勾配降下法(gd)とポリアック重球法(phb)に着目し,二次関数に対するrfgに基づく最適化アルゴリズムの収束解析を行う。 計算実験を行い,提案アルゴリズムの性能を実証し,理論的結果を検証する。

関連論文リスト

• Sliced Wasserstein with Random-Path Projecting Directions [49.802024788196434]
  本稿では,モンテカルロ予想推定のための高速サンプリングを行う最適化自由スライシング分布を提案する。 我々はランダムパススライシング分布(RPSD)とスライスされたワッサースタインの2つの変種、すなわちランダムパススライシングワッサースタイン(RPSW)とIWRPSW(Importance Weighted Random-Path Projection Sliced Wasserstein)を導出する。
  論文  参考訳（メタデータ） (2024-01-29T04:59:30Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Finite-Sample Bounds for Adaptive Inverse Reinforcement Learning using Passive Langevin Dynamics [15.878313629774269]
  本稿では、適応逆強化学習(IRL)を実現するために設計された受動勾配ランゲヴィンダイナミクス(PSGLD)アルゴリズムの有限サンプル解析を提供する。 我々はPSGLDアルゴリズムによって生成された推定値とコスト関数との間の2-ワッサーシュタイン距離の有限サンプル境界を求める。 この研究は、受動的適応勾配アルゴリズムの分析をランゲヴィン力学の有限サンプル状態に拡張する。
  論文  参考訳（メタデータ） (2023-04-18T16:39:51Z)
• The Novel Adaptive Fractional Order Gradient Decent Algorithms Design via Robust Control [5.5491171448159715]
  バニラ分数次降下は、目的関数が強く凸である場合には、正確な最小点に収束する代わりに、大域最小点の周りの領域に振動的に収束することがある。 この問題に対処するために,新しい適応分数次降下法 (AFDOG) と新しい分数次降下法 (AFOAGD) を提案する。
  論文  参考訳（メタデータ） (2023-03-08T02:03:30Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Random-reshuffled SARAH does not need a full gradient computations [61.85897464405715]
  StochAstic Recursive grAdientritHm (SARAH)アルゴリズムは、Gradient Descent (SGD)アルゴリズムのばらつき低減版である。 本稿では,完全勾配の必要性を除去する。 集約された勾配は、SARAHアルゴリズムの完全な勾配の見積もりとなる。
  論文  参考訳（メタデータ） (2021-11-26T06:00:44Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• SGB: Stochastic Gradient Bound Method for Optimizing Partition Functions [15.33098084159285]
  本稿では,学習環境における分割関数の最適化の問題に対処する。 本稿では,2次代理を持つ分割関数の上界に依存する有界偏化アルゴリズムの変種を提案する。
  論文  参考訳（メタデータ） (2020-11-03T04:42:51Z)
• Non-asymptotic bounds for stochastic optimization with biased noisy gradient oracles [8.655294504286635]
  関数の測定値が推定誤差を持つ設定を捉えるために,バイアス付き勾配オラクルを導入する。 提案するオラクルは,例えば,独立分散シミュレーションと同一分散シミュレーションのバッチによるリスク計測推定の実践的な状況にある。
  論文  参考訳（メタデータ） (2020-02-26T12:53:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。