論文の概要: A Bias-Correction Decentralized Stochastic Gradient Algorithm with Momentum Acceleration

• arxiv url: http://arxiv.org/abs/2501.19082v2
• Date: Thu, 13 Feb 2025 16:14:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:46:02.192092
• Title: A Bias-Correction Decentralized Stochastic Gradient Algorithm with Momentum Acceleration
• Title（参考訳）: Momentum Acceleration を用いたBias-Correction Decentralized Stochastic Gradient Algorithm
• Authors: Yuchen Hu, Xi Chen, Weidong Liu, Xiaojun Mao,
• Abstract要約: 我々は運動量加速分散勾配(Exact-Diffusion with Momentum (EDM))を提案する。 EDMはデータの異質性からバイアスを緩和し、ディープラーニングでよく使われる運動量技術を取り込む。 理論的解析により,EDMアルゴリズムは局所的に近傍最適解に収束することを示した。
• 参考スコア（独自算出の注目度）: 19.83835152405735
• License:
• Abstract: Distributed stochastic optimization algorithms can simultaneously process large-scale datasets, significantly accelerating model training. However, their effectiveness is often hindered by the sparsity of distributed networks and data heterogeneity. In this paper, we propose a momentum-accelerated distributed stochastic gradient algorithm, termed Exact-Diffusion with Momentum (EDM), which mitigates the bias from data heterogeneity and incorporates momentum techniques commonly used in deep learning to enhance convergence rate. Our theoretical analysis demonstrates that the EDM algorithm converges sub-linearly to the neighborhood of the optimal solution, the radius of which is irrespective of data heterogeneity, when applied to non-convex objective functions; under the Polyak-Lojasiewicz condition, which is a weaker assumption than strong convexity, it converges linearly to the target region. Our analysis techniques employed to handle momentum in complex distributed parameter update structures yield a sufficiently tight convergence upper bound, offering a new perspective for the theoretical analysis of other momentum-based distributed algorithms.
• Abstract（参考訳）: 分散確率最適化アルゴリズムは、大規模データセットを同時に処理し、モデルトレーニングを著しく高速化する。 しかし、それらの効果は、分散ネットワークとデータの均一性によってしばしば妨げられる。 本稿では,データの不均一性からバイアスを緩和し,深層学習でよく用いられるモーメント技術を取り入れて収束率を高める,運動量加速型分散確率勾配アルゴリズム(Exact-Diffusion with Momentum (EDM))を提案する。 我々の理論的解析は、EDMアルゴリズムが最適解の近傍にサブ線形に収束し、その半径が非凸目的関数に適用された場合、その半径はデータ不均一性によらず、強い凸性よりも弱い仮定であるポリアック・ロジャシエヴィチ条件の下では、ターゲット領域に線形に収束することを示した。 複素分散パラメータ更新構造における運動量を扱う解析手法は, 十分に厳密な収束上限をもたらし, その他の運動量に基づく分散アルゴリズムの理論解析の新しい視点を提供する。

関連論文リスト

• Diffusion-based Semi-supervised Spectral Algorithm for Regression on Manifolds [2.0649432688817444]
  本研究では,高次元データの回帰解析に挑戦する拡散スペクトルアルゴリズムを提案する。 本手法では,熱カーネルの局所的推定特性を用いて,この障害を克服するための適応型データ駆動型アプローチを提案する。 我々のアルゴリズムは完全にデータ駆動方式で動作し、データ固有の多様体構造内で直接動作する。
  論文  参考訳（メタデータ） (2024-10-18T15:29:04Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Flow-based Distributionally Robust Optimization [23.232731771848883]
  We present a framework, called $textttFlowDRO$, for solve flow-based distributionally robust optimization (DRO) problem with Wasserstein uncertainty set。 我々は、連続した最悪のケース分布(Last Favorable Distribution, LFD)とそれからのサンプルを見つけることを目指している。 本稿では、逆学習、分布論的に堅牢な仮説テスト、およびデータ駆動型分布摂動差分プライバシーの新しいメカニズムを実証する。
  論文  参考訳（メタデータ） (2023-10-30T03:53:31Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Statistical optimality and stability of tangent transform algorithms in logit models [6.9827388859232045]
  我々は,データ生成過程の条件として,ロジカルオプティマによって引き起こされるリスクに対して,非漸近上界を導出する。 特に,データ生成過程の仮定なしにアルゴリズムの局所的変動を確立する。 我々は,大域収束が得られる半直交設計を含む特別な場合について検討する。
  論文  参考訳（メタデータ） (2020-10-25T05:15:13Z)
• Kernel Interpolation of High Dimensional Scattered Data [22.857190042428922]
  高次元問題から選択されたデータサイトは、非父性的な方法で散在することが多い。 本稿では,基礎となるカーネル行列のスペクトルによる有界近似誤差を特徴とする,高次元データのカーネルを解析するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-03T08:34:00Z)
• Optimization with Momentum: Dynamical, Control-Theoretic, and Symplectic Perspectives [97.16266088683061]
  この論文は、運動量に基づく最適化アルゴリズムにおいてシンプレクティックな離散化スキームが重要であることを厳格に証明している。 これは加速収束を示すアルゴリズムの特性を提供する。
  論文  参考訳（メタデータ） (2020-02-28T00:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。