論文の概要: Random Reshuffling for Stochastic Gradient Langevin Dynamics

• arxiv url: http://arxiv.org/abs/2501.16055v1
• Date: Mon, 27 Jan 2025 13:53:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:55:14.238666
• Title: Random Reshuffling for Stochastic Gradient Langevin Dynamics
• Title（参考訳）: 確率勾配ランゲヴィンダイナミクスに対するランダムリシャッフル法
• Authors: Luke Shaw, Peter A. Whalley,
• Abstract要約: 我々は、Random Reshufflingという代替戦略を研究し、それがパフォーマンス改善につながることを示す。 メモリアクセスとキャッシュの理由から、ランダムリシャッフルは一般的により効率的であるため、これは特に重要である。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We examine the use of different randomisation policies for stochastic gradient algorithms used in sampling, based on first-order (or overdamped) Langevin dynamics, the most popular of which is known as Stochastic Gradient Langevin Dynamics. Conventionally, this algorithm is combined with a specific stochastic gradient strategy, called Robbins-Monro. In this work, we study an alternative strategy, Random Reshuffling, and show convincingly that it leads to improved performance via: a) a proof of reduced bias in the Wasserstein metric for strongly convex, gradient Lipschitz potentials; b) an analytical demonstration of reduced bias for a Gaussian model problem; and c) an empirical demonstration of reduced bias in numerical experiments for some logistic regression problems. This is especially important since Random Reshuffling is typically more efficient due to memory access and cache reasons. Such acceleration for the Random Reshuffling policy is familiar from the optimisation literature on stochastic gradient descent.
• Abstract（参考訳）: 本稿では, 確率勾配法における確率勾配法の適用について, 確率勾配法(Stochastic Gradient Langevin Dynamics) として知られる1次(あるいは過度に損傷された)ランゲインダイナミクス(Langevin Dynamics)に基づいて検討する。 従来、このアルゴリズムはRobins-Monroと呼ばれる特定の確率勾配戦略と組み合わせられていた。 本研究では、Random Reshufflingという代替戦略について検討し、これがパフォーマンスの向上につながることを示す。 a) 強い凸,勾配リプシッツポテンシャルに対するワッサーシュタイン計量におけるバイアスの減少の証明 b) ガウスモデル問題に対するバイアス低減の分析実証,及び c) いくつかのロジスティック回帰問題に対する数値実験において、バイアスの低減を実証的に示すこと。 メモリアクセスとキャッシュの理由から、ランダムリシャッフルが通常より効率的であるため、これは特に重要である。 このようなランダムリシャッフルポリシーの加速は、確率勾配降下に関する最適化文献からよく知られている。

関連論文リスト

• Limit Theorems for Stochastic Gradient Descent with Infinite Variance [47.87144151929621]
  この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。 また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
  論文  参考訳（メタデータ） (2024-10-21T09:39:10Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• One-step corrected projected stochastic gradient descent for statistical estimation [49.1574468325115]
  これは、Fisherスコアリングアルゴリズムの1ステップで修正されたログ様関数の予測勾配勾配に基づいている。 理論およびシミュレーションにより、平均勾配勾配や適応勾配勾配の通常の勾配勾配の代替として興味深いものであることを示す。
  論文  参考訳（メタデータ） (2023-06-09T13:43:07Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Scalable Gaussian-process regression and variable selection using Vecchia approximations [3.4163060063961255]
  ヴェッキアをベースとしたミニバッチサブサンプリングは、偏りのない勾配推定器を提供する。 偏りのない勾配推定器を提供するVecchiaベースのミニバッチサブサンプリングを提案する。
  論文  参考訳（メタデータ） (2022-02-25T21:22:38Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• Random-reshuffled SARAH does not need a full gradient computations [61.85897464405715]
  StochAstic Recursive grAdientritHm (SARAH)アルゴリズムは、Gradient Descent (SGD)アルゴリズムのばらつき低減版である。 本稿では,完全勾配の必要性を除去する。 集約された勾配は、SARAHアルゴリズムの完全な勾配の見積もりとなる。
  論文  参考訳（メタデータ） (2021-11-26T06:00:44Z)
• Robust Regression Revisited: Acceleration and Improved Estimation Rates [25.54653340884806]
  強い汚染モデルの下で, 統計的回帰問題に対する高速アルゴリズムについて検討する。 目的は、逆向きに破損したサンプルを与えられた一般化線形モデル(GLM)を概ね最適化することである。 実行時や推定保証が改善された頑健な回帰問題に対して,ほぼ直線的な時間アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-22T17:21:56Z)
• Generalized Gumbel-Softmax Gradient Estimator for Various Discrete Random Variables [16.643346012854156]
  ノードの勾配を評価することは、深層生成モデリングコミュニティにおいて重要な研究課題の1つである。 本稿では,連続緩和を伴うGumbel-Softmax推定器の一般バージョンを提案する。
  論文  参考訳（メタデータ） (2020-03-04T01:13:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。