論文の概要: A Bias-Correction Decentralized Stochastic Gradient Algorithm with Momentum Acceleration

• arxiv url: http://arxiv.org/abs/2501.19082v2
• Date: Thu, 13 Feb 2025 16:14:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 15:38:06.084086
• Title: A Bias-Correction Decentralized Stochastic Gradient Algorithm with Momentum Acceleration
• Title（参考訳）: Momentum Acceleration を用いたBias-Correction Decentralized Stochastic Gradient Algorithm
• Authors: Yuchen Hu, Xi Chen, Weidong Liu, Xiaojun Mao,
• Abstract要約: 我々は運動量加速分散勾配(Exact-Diffusion with Momentum (EDM))を提案する。 EDMはデータの異質性からバイアスを緩和し、ディープラーニングでよく使われる運動量技術を取り込む。 理論的解析により,EDMアルゴリズムは局所的に近傍最適解に収束することを示した。
• 参考スコア（独自算出の注目度）: 19.83835152405735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed stochastic optimization algorithms can simultaneously process large-scale datasets, significantly accelerating model training. However, their effectiveness is often hindered by the sparsity of distributed networks and data heterogeneity. In this paper, we propose a momentum-accelerated distributed stochastic gradient algorithm, termed Exact-Diffusion with Momentum (EDM), which mitigates the bias from data heterogeneity and incorporates momentum techniques commonly used in deep learning to enhance convergence rate. Our theoretical analysis demonstrates that the EDM algorithm converges sub-linearly to the neighborhood of the optimal solution, the radius of which is irrespective of data heterogeneity, when applied to non-convex objective functions; under the Polyak-Lojasiewicz condition, which is a weaker assumption than strong convexity, it converges linearly to the target region. Our analysis techniques employed to handle momentum in complex distributed parameter update structures yield a sufficiently tight convergence upper bound, offering a new perspective for the theoretical analysis of other momentum-based distributed algorithms.
• Abstract（参考訳）: 分散確率最適化アルゴリズムは、大規模データセットを同時に処理し、モデルトレーニングを著しく高速化する。 しかし、それらの効果は、分散ネットワークとデータの均一性によってしばしば妨げられる。 本稿では,データの不均一性からバイアスを緩和し,深層学習でよく用いられるモーメント技術を取り入れて収束率を高める,運動量加速型分散確率勾配アルゴリズム(Exact-Diffusion with Momentum (EDM))を提案する。 我々の理論的解析は、EDMアルゴリズムが最適解の近傍にサブ線形に収束し、その半径が非凸目的関数に適用された場合、その半径はデータ不均一性によらず、強い凸性よりも弱い仮定であるポリアック・ロジャシエヴィチ条件の下では、ターゲット領域に線形に収束することを示した。 複素分散パラメータ更新構造における運動量を扱う解析手法は, 十分に厳密な収束上限をもたらし, その他の運動量に基づく分散アルゴリズムの理論解析の新しい視点を提供する。

関連論文リスト

• Spectral Algorithms under Covariate Shift [4.349399061959293]
  スペクトルアルゴリズムはスペクトル正則化技術を利用してデータを分析・処理する。 分布シフト下でのスペクトルアルゴリズムの収束挙動について検討する。 本稿では,密度比情報を学習プロセスに組み込む重み付きスペクトルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T04:02:06Z)
• Unified Analysis of Decentralized Gradient Descent: a Contraction Mapping Framework [33.417831716314495]
  分散勾配降下(DGD)と拡散は、分散機械学習におけるワークホースである。 本稿では,DGDの解析と拡散のための基本的フレームワークを提案する。 これらのツールの使用は、ノイズフリーとノイズフリーの両体制において、厳密な収束境界をもたらす。
  論文  参考訳（メタデータ） (2025-03-18T15:36:36Z)
• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Flow-based Distributionally Robust Optimization [23.232731771848883]
  We present a framework, called $textttFlowDRO$, for solve flow-based distributionally robust optimization (DRO) problem with Wasserstein uncertainty set。 我々は、連続した最悪のケース分布(Last Favorable Distribution, LFD)とそれからのサンプルを見つけることを目指している。 本稿では、逆学習、分布論的に堅牢な仮説テスト、およびデータ駆動型分布摂動差分プライバシーの新しいメカニズムを実証する。
  論文  参考訳（メタデータ） (2023-10-30T03:53:31Z)
• Distributed Linear Regression with Compositional Covariates [5.085889377571319]
  大規模合成データにおける分散スパースペナル化線形ログコントラストモデルに着目する。 2つの異なる制約凸最適化問題を解くために2つの分散最適化手法を提案する。 分散化されたトポロジでは、通信効率の高い正規化推定値を得るための分散座標ワイド降下アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-10-21T11:09:37Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Composite Optimization Algorithms for Sigmoid Networks [3.160070867400839]
  線形化近位アルゴリズムと乗算器の交互方向に基づく合成最適化アルゴリズムを提案する。 フランク関数のフィッティングに関する数値実験により、提案アルゴリズムは十分堅牢に機能することを示した。
  論文  参考訳（メタデータ） (2023-03-01T15:30:29Z)
• Optimal Algorithms for the Inhomogeneous Spiked Wigner Model [89.1371983413931]
  不均一な問題に対する近似メッセージパッシングアルゴリズム(AMP)を導出する。 特に,情報理論の閾値よりも大きい信号と雑音の比を必要とする既知のアルゴリズムが,ランダムよりも優れた処理を行うための統計的・計算的ギャップの存在を同定する。
  論文  参考訳（メタデータ） (2023-02-13T19:57:17Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• A Robust and Flexible EM Algorithm for Mixtures of Elliptical Distributions with Missing Data [71.9573352891936]
  本稿では、ノイズや非ガウス的なデータに対するデータ計算の欠如に対処する。 楕円分布と潜在的な欠落データを扱う特性を混合した新しいEMアルゴリズムについて検討した。 合成データの実験的結果は,提案アルゴリズムが外れ値に対して頑健であり,非ガウスデータで使用可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-28T10:01:37Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Kernel Interpolation of High Dimensional Scattered Data [22.857190042428922]
  高次元問題から選択されたデータサイトは、非父性的な方法で散在することが多い。 本稿では,基礎となるカーネル行列のスペクトルによる有界近似誤差を特徴とする,高次元データのカーネルを解析するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-03T08:34:00Z)
• IDEAL: Inexact DEcentralized Accelerated Augmented Lagrangian Method [64.15649345392822]
  本稿では,局所関数が滑らかで凸な分散最適化環境下での原始的手法設計のためのフレームワークを提案する。 提案手法は,加速ラグランジアン法により誘導されるサブプロブレム列を概ね解いたものである。 加速度勾配降下と組み合わせることで,収束速度が最適で,最近導出された下界と一致した新しい原始アルゴリズムが得られる。
  論文  参考訳（メタデータ） (2020-06-11T18:49:06Z)
• Optimization with Momentum: Dynamical, Control-Theoretic, and Symplectic Perspectives [97.16266088683061]
  この論文は、運動量に基づく最適化アルゴリズムにおいてシンプレクティックな離散化スキームが重要であることを厳格に証明している。 これは加速収束を示すアルゴリズムの特性を提供する。
  論文  参考訳（メタデータ） (2020-02-28T00:32:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。