論文の概要: A Bias-Correction Decentralized Stochastic Gradient Algorithm with Momentum Acceleration

• arxiv url: http://arxiv.org/abs/2501.19082v1
• Date: Fri, 31 Jan 2025 12:15:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:02:46.557198
• Title: A Bias-Correction Decentralized Stochastic Gradient Algorithm with Momentum Acceleration
• Title（参考訳）: Momentum Acceleration を用いたBias-Correction Decentralized Stochastic Gradient Algorithm
• Authors: Yuchen Hu, Xi Chen, Weidong Liu, Xiaojun Mao,
• Abstract要約: 本稿では,データの不均一性やネットワークの間隔に起因したバイアスを補正するモーメント高速化分散勾配アルゴリズムを提案する。 非目的関数に適用した場合、このアルゴリズムはデータ不均一性とは無関係に最適なサブラインに収束することを示す。
• 参考スコア（独自算出の注目度）: 19.83835152405735
• License:
• Abstract: Distributed stochastic optimization algorithms can handle large-scale data simultaneously and accelerate model training. However, the sparsity of distributed networks and the heterogeneity of data limit these advantages. This paper proposes a momentum-accelerated distributed stochastic gradient algorithm, referred to as Exact-Diffusion with Momentum (EDM), which can correct the bias caused by data heterogeneity and introduces the momentum method commonly used in deep learning to accelerate the convergence of the algorithm. We theoretically demonstrate that this algorithm converges to the neighborhood of the optimum sub-linearly irrelevant to data heterogeneity when applied to non-convex objective functions and linearly under the Polyak-{\L}ojasiewicz condition (a weaker assumption than $\mu$-strongly convexity). Finally, we evaluate the performance of the proposed algorithm by simulation, comparing it with a range of existing decentralized optimization algorithms to demonstrate its effectiveness in addressing data heterogeneity and network sparsity.
• Abstract（参考訳）: 分散確率最適化アルゴリズムは、大規模データを同時に処理し、モデルの訓練を加速することができる。 しかし、分散ネットワークの幅とデータの均一性はこれらの利点を制限している。 本稿では,データの不均一性によるバイアスを補正できる運動量加速型分散確率勾配アルゴリズム(Exact-Diffusion with Momentum (EDM))を提案する。 理論的には、このアルゴリズムは、非凸対象関数に適用した場合にデータ不均一性とは無関係な最適部分線型近傍に収束し、Polyak-{\L}ojasiewicz条件の下で線形に収束する($\mu$-strongly convexityよりも弱い仮定)。 最後に,提案アルゴリズムの性能をシミュレーションにより評価し,既存の分散最適化アルゴリズムと比較し,不均一性やネットワークの分散性に対処する上での有効性を実証する。

関連論文リスト

• Diffusion-based Semi-supervised Spectral Algorithm for Regression on Manifolds [2.0649432688817444]
  本研究では,高次元データの回帰解析に挑戦する拡散スペクトルアルゴリズムを提案する。 本手法では,熱カーネルの局所的推定特性を用いて,この障害を克服するための適応型データ駆動型アプローチを提案する。 我々のアルゴリズムは完全にデータ駆動方式で動作し、データ固有の多様体構造内で直接動作する。
  論文  参考訳（メタデータ） (2024-10-18T15:29:04Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Flow-based Distributionally Robust Optimization [23.232731771848883]
  We present a framework, called $textttFlowDRO$, for solve flow-based distributionally robust optimization (DRO) problem with Wasserstein uncertainty set。 我々は、連続した最悪のケース分布(Last Favorable Distribution, LFD)とそれからのサンプルを見つけることを目指している。 本稿では、逆学習、分布論的に堅牢な仮説テスト、およびデータ駆動型分布摂動差分プライバシーの新しいメカニズムを実証する。
  論文  参考訳（メタデータ） (2023-10-30T03:53:31Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Statistical optimality and stability of tangent transform algorithms in logit models [6.9827388859232045]
  我々は,データ生成過程の条件として,ロジカルオプティマによって引き起こされるリスクに対して,非漸近上界を導出する。 特に,データ生成過程の仮定なしにアルゴリズムの局所的変動を確立する。 我々は,大域収束が得られる半直交設計を含む特別な場合について検討する。
  論文  参考訳（メタデータ） (2020-10-25T05:15:13Z)
• Kernel Interpolation of High Dimensional Scattered Data [22.857190042428922]
  高次元問題から選択されたデータサイトは、非父性的な方法で散在することが多い。 本稿では,基礎となるカーネル行列のスペクトルによる有界近似誤差を特徴とする,高次元データのカーネルを解析するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-03T08:34:00Z)
• Optimization with Momentum: Dynamical, Control-Theoretic, and Symplectic Perspectives [97.16266088683061]
  この論文は、運動量に基づく最適化アルゴリズムにおいてシンプレクティックな離散化スキームが重要であることを厳格に証明している。 これは加速収束を示すアルゴリズムの特性を提供する。
  論文  参考訳（メタデータ） (2020-02-28T00:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。