論文の概要: Decentralized Non-convex Stochastic Optimization with Heterogeneous Variance

• arxiv url: http://arxiv.org/abs/2602.11789v1
• Date: Thu, 12 Feb 2026 10:13:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.762635
• Title: Decentralized Non-convex Stochastic Optimization with Heterogeneous Variance
• Title（参考訳）: 不均一変動を考慮した分散非凸確率最適化
• Authors: Hongxu Chen, Ke Wei, Luo Luo,
• Abstract要約: 分散最適化は、分散ネットワーク上の大規模機械学習問題を解決する上で重要である。 本稿では,ノード固有サンプリングを用いた分散アルゴリズムD-NSSを提案する。 このフレームワークを分散低減技術で拡張し,D-NSS-VRを開発した。
• 参考スコア（独自算出の注目度）: 24.276930163169236
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decentralized optimization is critical for solving large-scale machine learning problems over distributed networks, where multiple nodes collaborate through local communication. In practice, the variances of stochastic gradient estimators often differ across nodes, yet their impact on algorithm design and complexity remains unclear. To address this issue, we propose D-NSS, a decentralized algorithm with node-specific sampling, and establish its sample complexity depending on the arithmetic mean of local standard deviations, achieving tighter bounds than existing methods that rely on the worst-case or quadratic mean. We further derive a matching sample complexity lower bound under heterogeneous variance, thereby proving the optimality of this dependence. Moreover, we extend the framework with a variance reduction technique and develop D-NSS-VR, which under the mean-squared smoothness assumption attains an improved sample complexity bound while preserving the arithmetic-mean dependence. Finally, numerical experiments validate the theoretical results and demonstrate the effectiveness of the proposed algorithms.
• Abstract（参考訳）: 分散最適化は、複数のノードがローカル通信を介して協調する分散ネットワーク上での大規模な機械学習問題を解決するために重要である。 実際には、確率勾配推定器のばらつきはしばしばノードによって異なるが、アルゴリズムの設計と複雑性への影響は未だ不明である。 この問題に対処するため,ノード固有サンプリングを用いた分散アルゴリズムであるD-NSSを提案し,局所標準偏差の算術平均に依存するサンプルの複雑さを確立し,最悪のケースや二次平均に依存する既存手法よりも厳密な境界を達成した。 さらに、不均一な分散の下でのサンプルの複雑さの低い結合を導出し、この依存の最適性を示す。 さらに, このフレームワークを分散低減技術で拡張し, D-NSS-VRを開発した。 最後に、数値実験により理論的結果が検証され、提案アルゴリズムの有効性が示された。

関連論文リスト

• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
  本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。 本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
  論文  参考訳（メタデータ） (2025-04-04T16:10:18Z)
• Communication-Efficient Stochastic Distributed Learning [3.2923780772605595]
  非および凸型、非指向型ネットワークの分散学習問題に対処する。 特に,高通信コストの課題に対処するために,分散マルチプライヤの交換方法(MM)に基づく小説を設計する。
  論文  参考訳（メタデータ） (2025-01-23T10:05:23Z)
• Distributionally Robust Optimization via Iterative Algorithms in Continuous Probability Spaces [6.992239210938067]
  最短ケースの分布が連続している場合、分布的ロバストな最適化(DRO)によって動機付けられたミニマックス問題を考える。 最近の研究では、ニューラルネットワークに基づく生成ネットワークを用いた最悪のケース分布の学習について検討されている。 本稿では,そのようなミニマックス問題を解くための反復アルゴリズムを提案することによって,この理論的課題を橋渡しする。
  論文  参考訳（メタデータ） (2024-12-29T19:31:23Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Asynchronous Distributed Reinforcement Learning for LQR Control via Zeroth-Order Block Coordinate Descent [7.6860514640178]
  分散強化学習のための新しいゼロ階最適化アルゴリズムを提案する。 これにより、各エージェントはコンセンサスプロトコルを使わずに、コスト評価を独立してローカル勾配を推定できる。
  論文  参考訳（メタデータ） (2021-07-26T18:11:07Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。