論文の概要: Stochastic Gradient Langevin with Delayed Gradients
- arxiv url: http://arxiv.org/abs/2006.07362v1
- Date: Fri, 12 Jun 2020 17:51:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-11-22 02:57:02.813943
- Title: Stochastic Gradient Langevin with Delayed Gradients
- Title（参考訳）: 遅延勾配を持つ確率勾配ランゲヴィン
- Authors: Vyacheslav Kungurtsev, Bapi Chatterjee, Dan Alistarh
- Abstract要約: 本研究では,計算に用いた遅延勾配情報による誤差が測定値の収束率に有意な影響を及ぼさないことを示す。
計算に用いた遅延勾配情報による誤差は, 測定値の収束率に有意な影響を与えず, ウォールクロック時間における高速化の可能性が示唆された。
- 参考スコア（独自算出の注目度）: 29.6870062491741
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stochastic Gradient Langevin Dynamics (SGLD) ensures strong guarantees with
regards to convergence in measure for sampling log-concave posterior
distributions by adding noise to stochastic gradient iterates. Given the size
of many practical problems, parallelizing across several asynchronously running
processors is a popular strategy for reducing the end-to-end computation time
of stochastic optimization algorithms. In this paper, we are the first to
investigate the effect of asynchronous computation, in particular, the
evaluation of stochastic Langevin gradients at delayed iterates, on the
convergence in measure. For this, we exploit recent results modeling Langevin
dynamics as solving a convex optimization problem on the space of measures. We
show that the rate of convergence in measure is not significantly affected by
the error caused by the delayed gradient information used for computation,
suggesting significant potential for speedup in wall clock time. We confirm our
theoretical results with numerical experiments on some practical problems.
- Abstract（参考訳）: Stochastic Gradient Langevin Dynamics (SGLD) は、確率勾配に雑音を加えることで、対数凹面後部分布をサンプリングする尺度の収束に関する強い保証を保証する。
多くの実用的な問題の大きさを考えると、複数の非同期実行プロセッサを並列化することは確率最適化アルゴリズムのエンドツーエンドの計算時間を短縮する一般的な戦略である。
本稿では,非同期計算,特に遅延反復における確率的ランゲヴィン勾配の評価が測定の収束に与える影響を初めて検討する。
そこで本研究では,最近のランジュバンダイナミクスモデリングの結果を,測度空間上の凸最適化問題の解として活用する。
計算に用いた遅延勾配情報による誤差は, 測定値の収束率に有意な影響を与えず, ウォールクロック時間における高速化の可能性が示唆された。
実用的問題に対する数値実験により, 理論結果を確認した。
関連論文リスト
- Posterior Sampling with Delayed Feedback for Reinforcement Learning with
Linear Function Approximation [62.969796245827006]
Delayed-PSVI は楽観的な値に基づくアルゴリズムであり、後続サンプリングによる雑音摂動により値関数空間を探索する。
我々のアルゴリズムは、未知の遅延が存在する場合に、$widetildeO(sqrtd3H3 T + d2H2 E[tau]$最悪の後悔を実現する。
遅延LPSVIのための勾配に基づく近似サンプリングスキームをLangevin動的に組み込んだ。
論文 参考訳（メタデータ） (2023-10-29T06:12:43Z) - Towards Understanding the Generalizability of Delayed Stochastic
Gradient Descent [63.43247232708004]
非同期で実行される勾配降下は、大規模機械学習モデルのトレーニングにおいて重要な役割を果たす。
既存の一般化誤差境界は悲観的であり、非同期遅延と一般化の相関を明らかにすることはできない。
我々の理論的結果は、非同期遅延は遅延SGDアルゴリズムの一般化誤差を低減することを示唆している。
論文 参考訳（メタデータ） (2023-08-18T10:00:27Z) - Ordering for Non-Replacement SGD [7.11967773739707]
我々は,アルゴリズムの非置換形式に対する収束率を改善する順序付けを求める。
我々は,強い凸関数と凸関数のステップサイズを一定かつ小さくするための最適順序付けを開発する。
さらに、注文とミニバッチを組み合わせることで、より複雑なニューラルネットワークにも適用できます。
論文 参考訳（メタデータ） (2023-06-28T00:46:58Z) - Reweighted Interacting Langevin Diffusions: an Accelerated Sampling
Methodfor Optimization [28.25662317591378]
本稿では, サンプリング手法を高速化し, 難解な最適化問題の解法を提案する。
提案手法は, 後部分布サンプリングとLangevin Dynamicsを用いた最適化の関連性について検討する。
論文 参考訳（メタデータ） (2023-01-30T03:48:20Z) - Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with
Variance Reduction and its Application to Optimization [50.83356836818667]
勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。
本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
論文 参考訳（メタデータ） (2022-03-30T11:39:00Z) - A Continuous-time Stochastic Gradient Descent Method for Continuous Data [0.0]
本研究では,連続データを用いた最適化問題に対する勾配降下アルゴリズムの連続時間変種について検討する。
連続データ空間における複数のサンプリングパターンについて検討し、実行時にデータシミュレートやストリームを可能にする。
ノイズの多い関数データと物理インフォームドニューラルネットワークの回帰問題における勾配過程の適用性について考察する。
論文 参考訳（メタデータ） (2021-12-07T15:09:24Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Stochastic Optimization under Distributional Drift [3.0229888038442922]
予測と高い確率の両方で有効な境界に焦点をあて、平均化を繰り返すアルゴリズムに対して非漸近収束保証を提供する。
勾配法の追従効率がステップ崩壊スケジュールから大きく向上する低ドリフト・ツー・ノイズ方式を同定する。
論文 参考訳（メタデータ） (2021-08-16T21:57:39Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - Distributed stochastic optimization with large delays [59.95552973784946]
大規模最適化問題を解決する最も広く使われている手法の1つは、分散非同期勾配勾配(DASGD)である。
DASGDは同じ遅延仮定の下で大域的最適実装モデルに収束することを示す。
論文 参考訳（メタデータ） (2021-07-06T21:59:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。