論文の概要: Randomized Forward Mode of Automatic Differentiation for Optimization Algorithms

• arxiv url: http://arxiv.org/abs/2310.14168v2
• Date: Tue, 24 Oct 2023 04:20:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 11:24:31.466773
• Title: Randomized Forward Mode of Automatic Differentiation for Optimization Algorithms
• Title（参考訳）: 最適化アルゴリズムの自動微分のランダム化フォワードモード
• Authors: Khemraj Shukla and Yeonjong Shin
• Abstract要約: 本稿では,損失関数の方向微分を用いてニューラルネットワークのパラメータを更新する遺伝的ランダム化手法を提案する。 勾配降下法を用いてニューラルネットワークパラメータの更新を行うため、勾配の計算が重要である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Backpropagation within neural networks leverages a fundamental element of automatic differentiation, which is referred to as the reverse mode differentiation, or vector Jacobian Product (VJP) or, in the context of differential geometry, known as the pull-back process. The computation of gradient is important as update of neural network parameters is performed using gradient descent method. In this study, we present a genric randomized method, which updates the parameters of neural networks by using directional derivatives of loss functions computed efficiently by using forward mode AD or Jacobian vector Product (JVP). These JVP are computed along the random directions sampled from different probability distributions e.g., Bernoulli, Normal, Wigner, Laplace and Uniform distributions. The computation of gradient is performed during the forward pass of the neural network. We also present a rigorous analysis of the presented methods providing the rate of convergence along with the computational experiments deployed in scientific Machine learning in particular physics-informed neural networks and Deep Operator Networks.
• Abstract（参考訳）: ニューラルネットワーク内のバックプロパゲーションは、リバースモード微分(reverse mode differentiation)またはベクタージャコビアン積(vector jacobian product、vjp)と呼ばれる自動微分の基本的な要素を利用する。 勾配降下法を用いてニューラルネットワークパラメータの更新を行うため,勾配の計算が重要である。 本研究では,フォワードモード ad やヤコビベクトル積 (jvp) を用いて効率的に計算される損失関数の方向微分を用いて,ニューラルネットワークのパラメータを更新するジェネリックランダム化手法を提案する。 これらのJVPは、Bernoulli、Normal、Wigner、Laplace、Uniformといった確率分布からサンプリングされたランダムな方向に沿って計算される。 勾配の計算はニューラルネットワークの前方通過中に行われる。 また,特に物理インフォームドニューラルネットワークやDeep Operator Networksにおいて,科学的機械学習に導入された計算実験とともに収束率を示す手法について,厳密な分析を行った。

関連論文リスト

• Sliced Wasserstein with Random-Path Projecting Directions [49.802024788196434]
  本稿では,モンテカルロ予想推定のための高速サンプリングを行う最適化自由スライシング分布を提案する。 我々はランダムパススライシング分布(RPSD)とスライスされたワッサースタインの2つの変種、すなわちランダムパススライシングワッサースタイン(RPSW)とIWRPSW(Importance Weighted Random-Path Projection Sliced Wasserstein)を導出する。
  論文  参考訳（メタデータ） (2024-01-29T04:59:30Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Finite-Sample Bounds for Adaptive Inverse Reinforcement Learning using Passive Langevin Dynamics [15.878313629774269]
  本稿では、適応逆強化学習(IRL)を実現するために設計された受動勾配ランゲヴィンダイナミクス(PSGLD)アルゴリズムの有限サンプル解析を提供する。 我々はPSGLDアルゴリズムによって生成された推定値とコスト関数との間の2-ワッサーシュタイン距離の有限サンプル境界を求める。 この研究は、受動的適応勾配アルゴリズムの分析をランゲヴィン力学の有限サンプル状態に拡張する。
  論文  参考訳（メタデータ） (2023-04-18T16:39:51Z)
• The Novel Adaptive Fractional Order Gradient Decent Algorithms Design via Robust Control [5.5491171448159715]
  バニラ分数次降下は、目的関数が強く凸である場合には、正確な最小点に収束する代わりに、大域最小点の周りの領域に振動的に収束することがある。 この問題に対処するために,新しい適応分数次降下法 (AFDOG) と新しい分数次降下法 (AFOAGD) を提案する。
  論文  参考訳（メタデータ） (2023-03-08T02:03:30Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Random-reshuffled SARAH does not need a full gradient computations [61.85897464405715]
  StochAstic Recursive grAdientritHm (SARAH)アルゴリズムは、Gradient Descent (SGD)アルゴリズムのばらつき低減版である。 本稿では,完全勾配の必要性を除去する。 集約された勾配は、SARAHアルゴリズムの完全な勾配の見積もりとなる。
  論文  参考訳（メタデータ） (2021-11-26T06:00:44Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• SGB: Stochastic Gradient Bound Method for Optimizing Partition Functions [15.33098084159285]
  本稿では,学習環境における分割関数の最適化の問題に対処する。 本稿では,2次代理を持つ分割関数の上界に依存する有界偏化アルゴリズムの変種を提案する。
  論文  参考訳（メタデータ） (2020-11-03T04:42:51Z)
• Non-asymptotic bounds for stochastic optimization with biased noisy gradient oracles [8.655294504286635]
  関数の測定値が推定誤差を持つ設定を捉えるために,バイアス付き勾配オラクルを導入する。 提案するオラクルは,例えば,独立分散シミュレーションと同一分散シミュレーションのバッチによるリスク計測推定の実践的な状況にある。
  論文  参考訳（メタデータ） (2020-02-26T12:53:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。