論文の概要: On Riemannian Stochastic Approximation Schemes with Fixed Step-Size

• arxiv url: http://arxiv.org/abs/2102.07586v1
• Date: Mon, 15 Feb 2021 14:56:09 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 06:53:16.710810
• Title: On Riemannian Stochastic Approximation Schemes with Fixed Step-Size
• Title（参考訳）: 固定ステップサイズをもつリーマン確率近似スキームについて
• Authors: Alain Durmus, Pablo Jim\'enez, \'Eric Moulines, Salem Said
• Abstract要約: 固定ステップサイズスキームは、ステップサイズによってパラメータ化された時間同質マルコフ連鎖の族を定義する。 任意のステップサイズの場合、対応するマルコフ鎖は一意の定常分布を認め、幾何学的にエルゴディックであることが証明される。 収束の速度はバイアスの拡大と中心極限定理によって確立される。
• 参考スコア（独自算出の注目度）: 21.434285400536094
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper studies fixed step-size stochastic approximation (SA) schemes, including stochastic gradient schemes, in a Riemannian framework. It is motivated by several applications, where geodesics can be computed explicitly, and their use accelerates crude Euclidean methods. A fixed step-size scheme defines a family of time-homogeneous Markov chains, parametrized by the step-size. Here, using this formulation, non-asymptotic performance bounds are derived, under Lyapunov conditions. Then, for any step-size, the corresponding Markov chain is proved to admit a unique stationary distribution, and to be geometrically ergodic. This result gives rise to a family of stationary distributions indexed by the step-size, which is further shown to converge to a Dirac measure, concentrated at the solution of the problem at hand, as the step-size goes to 0. Finally, the asymptotic rate of this convergence is established, through an asymptotic expansion of the bias, and a central limit theorem.
• Abstract（参考訳）: 本稿では,リーマン系における確率勾配スキームを含むステップサイズ確率近似(sa)スキームについて述べる。 ジオデシクスを明示的に計算できるいくつかのアプリケーションによって動機付けられ、それらの使用は粗いユークリッド法を加速する。 固定ステップサイズスキームは、ステップサイズによってパラメータ化された時間同質マルコフ連鎖の族を定義する。 ここでは、この定式化を使用して、Lyapunov条件下で非無症候性性能境界が導出される。 任意のステップサイズに対して、対応するマルコフ連鎖は一意的な定常分布を認め、幾何学的にエルゴード的であることが証明される。 この結果は、ステップサイズによってインデックス化された定常分布の族を生じさせ、ステップサイズが0になるにつれて、手元の問題の解に集中したディラック測度に収束することがさらに示される。 最後に、この収束の漸近速度は、バイアスの漸近展開と中心極限定理によって確立される。

関連論文リスト

• Riemannian Federated Learning via Averaging Gradient Stream [8.75592575216789]
  本稿では,RFedAGS(Federated Averaging Gradient Stream)アルゴリズムの開発と解析を行う。 合成および実世界のデータを用いて数値シミュレーションを行い,提案したRFedAGSの性能を実証した。
  論文  参考訳（メタデータ） (2024-09-11T12:28:42Z)
• Sharp detection of low-dimensional structure in probability measures via dimensional logarithmic Sobolev inequalities [0.5592394503914488]
  本稿では、所定の基準測度$mu$の摂動として、目標測度$pi$を同定し、近似する手法を提案する。 我々の主な貢献は、多元対数ソボレフ不等式(LSI)と、このアンザッツとの近似との接続を明らかにすることである。
  論文  参考訳（メタデータ） (2024-06-18T20:02:44Z)
• A Generalized Version of Chung's Lemma and its Applications [10.570672679063394]
  我々はChung's lemmaの一般化バージョンを開発し、より一般的なステップサイズルールの族に対する単純な非漸近収束フレームワークを提供する。 解析の副産物として、指数的なステップサイズが目的関数の幾何学に適応し、基礎となる景観の正確な知識を必要とせずに最適な収束率を達成することができることを観察する。
  論文  参考訳（メタデータ） (2024-06-09T04:25:10Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Stochastic Mirror Descent for Large-Scale Sparse Recovery [13.500750042707407]
  本稿では,2次近似の高次元スパースパラメータの統計的推定への応用について論じる。 提案アルゴリズムは, 回帰器分布の弱い仮定の下で, 推定誤差の最適収束を実現する。
  論文  参考訳（メタデータ） (2022-10-23T23:23:23Z)
• The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
  本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。 ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。 ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
  論文  参考訳（メタデータ） (2022-06-14T12:30:11Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and Non-Asymptotic Concentration [115.1954841020189]
  The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。 一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
  論文  参考訳（メタデータ） (2020-04-09T17:54:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。