論文の概要: Stochastic Approximate Gradient Descent via the Langevin Algorithm

• arxiv url: http://arxiv.org/abs/2002.05519v1
• Date: Thu, 13 Feb 2020 14:29:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 13:05:57.973491
• Title: Stochastic Approximate Gradient Descent via the Langevin Algorithm
• Title（参考訳）: ランジュバンアルゴリズムによる確率的近似勾配降下
• Authors: Yixuan Qiu and Xiao Wang
• Abstract要約: 本研究では,不偏勾配が自明に得られない場合の勾配勾配の代替として,近似勾配勾配(SAGD)を導入する。 SAGDは,予測最大化アルゴリズムや変分オートエンコーダといった,一般的な統計的および機械学習問題において,実験的によく機能することを示す。
• 参考スコア（独自算出の注目度）: 11.36635610546803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a novel and efficient algorithm called the stochastic approximate gradient descent (SAGD), as an alternative to the stochastic gradient descent for cases where unbiased stochastic gradients cannot be trivially obtained. Traditional methods for such problems rely on general-purpose sampling techniques such as Markov chain Monte Carlo, which typically requires manual intervention for tuning parameters and does not work efficiently in practice. Instead, SAGD makes use of the Langevin algorithm to construct stochastic gradients that are biased in finite steps but accurate asymptotically, enabling us to theoretically establish the convergence guarantee for SAGD. Inspired by our theoretical analysis, we also provide useful guidelines for its practical implementation. Finally, we show that SAGD performs well experimentally in popular statistical and machine learning problems such as the expectation-maximization algorithm and the variational autoencoders.
• Abstract（参考訳）: 非偏差確率勾配が自明に得られない場合の確率勾配降下の代替として,確率近似勾配降下 (sagd) と呼ばれる新しい効率的なアルゴリズムを導入する。 このような問題の従来の方法はマルコフ連鎖モンテカルロのような汎用的なサンプリング技術に依存しており、通常はパラメータのチューニングに手動で介入する必要がある。 代わりに、SAGDはLangevinアルゴリズムを用いて有限ステップでバイアスを受けるが、漸近的に正確な確率勾配を構築することにより、SAGDの収束保証を理論的に確立することができる。 理論分析に触発されて,その実践的実施のための有用なガイドラインも提示する。 最後に、SAGDは予測最大化アルゴリズムや変分オートエンコーダなどの一般的な統計的および機械学習問題において、実験的によく機能することを示す。

関連論文リスト

• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Robust Approximate Sampling via Stochastic Gradient Barker Dynamics [0.0]
  本稿では,Langevin に基づくサンプリングアルゴリズムの頑健な代替である Barker gradient dynamics (SGBD) アルゴリズムを勾配フレームワークに導入する。 本稿では,バーカー遷移機構に対する勾配の影響を特徴付けるとともに,勾配雑音による誤差を除去するバイアス補正版を開発する。
  論文  参考訳（メタデータ） (2024-05-14T23:47:02Z)
• One-step corrected projected stochastic gradient descent for statistical estimation [49.1574468325115]
  これは、Fisherスコアリングアルゴリズムの1ステップで修正されたログ様関数の予測勾配勾配に基づいている。 理論およびシミュレーションにより、平均勾配勾配や適応勾配勾配の通常の勾配勾配の代替として興味深いものであることを示す。
  論文  参考訳（メタデータ） (2023-06-09T13:43:07Z)
• Non asymptotic analysis of Adaptive stochastic gradient algorithms and applications [0.0]
  本論文は, 強凸対象に対する適応勾配アルゴリズムの非解析に係わるものである。 すべての理論的結果は、AdagradアルゴリズムとNewtonアルゴリズムの両方に対する線形回帰および正規化一般化線形モデルに適用される。
  論文  参考訳（メタデータ） (2023-03-01T07:36:03Z)
• Random-reshuffled SARAH does not need a full gradient computations [61.85897464405715]
  StochAstic Recursive grAdientritHm (SARAH)アルゴリズムは、Gradient Descent (SGD)アルゴリズムのばらつき低減版である。 本稿では,完全勾配の必要性を除去する。 集約された勾配は、SARAHアルゴリズムの完全な勾配の見積もりとなる。
  論文  参考訳（メタデータ） (2021-11-26T06:00:44Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Practical Precoding via Asynchronous Stochastic Successive Convex Approximation [8.808993671472349]
  凸非平滑正規化器を用いた滑らかな非研究損失関数の最適化について検討する。 本研究では、SCAアルゴリズムを詳しく検討し、無線ネットワークにおけるリソース割り当てのための非同期版を開発する。
  論文  参考訳（メタデータ） (2020-10-03T13:53:30Z)
• A High Probability Analysis of Adaptive SGD with Momentum [22.9530287983179]
  Gradient Descent(DSG)とその変種は、機械学習アプリケーションで最も使われているアルゴリズムである。 モーメントを持つdelayedGrad の滑らかな非設定において、勾配が 0 になる確率を初めて示す。
  論文  参考訳（メタデータ） (2020-07-28T15:06:22Z)
• Towards Better Understanding of Adaptive Gradient Algorithms in Generative Adversarial Nets [71.05306664267832]
  適応アルゴリズムは勾配の歴史を用いて勾配を更新し、深層ニューラルネットワークのトレーニングにおいてユビキタスである。 本稿では,非コンケーブ最小値問題に対するOptimisticOAアルゴリズムの変種を解析する。 実験の結果,適応型GAN非適応勾配アルゴリズムは経験的に観測可能であることがわかった。
  論文  参考訳（メタデータ） (2019-12-26T22:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。