Fugu-MT 論文翻訳(概要): Near-Optimal Decentralized Stochastic Nonconvex Optimization with Heavy-Tailed Noise

論文の概要: Near-Optimal Decentralized Stochastic Nonconvex Optimization with Heavy-Tailed Noise

arxiv url: http://arxiv.org/abs/2601.11435v1
Date: Fri, 16 Jan 2026 16:55:51 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-19 20:21:50.573498
Title: Near-Optimal Decentralized Stochastic Nonconvex Optimization with Heavy-Tailed Noise
Title（参考訳）: 重畳音を用いたほぼ最適分散確率的非凸最適化
Authors: Menglian Wang, Zhuanghua Liu, Luo Luo,
Abstract要約: 本稿では,Pull-Diagグラデーショントラッキングを用いた分散勾配勾配推定法を提案する。また,提案手法の実用上の優位性を示す実証的優越点も実施する。
参考スコア（独自算出の注目度）: 24.72819846755016
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper studies decentralized stochastic nonconvex optimization problem over row-stochastic networks. We consider the heavy-tailed gradient noise which is empirically observed in many popular real-world applications. Specifically, we propose a decentralized normalized stochastic gradient descent with Pull-Diag gradient tracking, which achieves approximate stationary points with the optimal sample complexity and the near-optimal communication complexity. We further follow our framework to study the setting of undirected networks, also achieving the nearly tight upper complexity bounds. Moreover, we conduct empirical studies to show the practical superiority of the proposed methods.
Abstract（参考訳）: 本稿では,行確率ネットワーク上の分散確率非凸最適化問題について検討する。実世界の多くの応用において実証的に観測される重み付き勾配雑音について考察する。具体的には,Pull-Diagグラデーショントラッキングを用いた分散正規化確率勾配勾配について提案する。我々はさらに、非指向ネットワークの設定を研究するためのフレームワークに従い、ほぼ厳密な上層複雑性境界を達成する。さらに,提案手法の実用的優位性を示す実証的研究を行った。

関連論文リスト

Unregularized limit of stochastic gradient method for Wasserstein distributionally robust optimization [8.784017987697688]
分散ロバストな最適化は、機械学習におけるモデル適合のための魅力的なフレームワークを提供する。本研究では, エントロピーな平滑化が元の目的のサンプリングに基づく近似を導出する正規化問題について検討する。
論文参考訳（メタデータ） (2025-06-05T12:21:44Z)
Diffusion Stochastic Optimization for Min-Max Problems [33.73046548872663]
楽観的勾配法はミニマックス最適化問題に対処するのに有用である。従来のバージョンでは大きなバッチサイズが必要であり,Samevareps-generativeOGOGと呼ばれる新しい定式化を導入,解析する。
論文参考訳（メタデータ） (2024-01-26T01:16:59Z)
On the Stochastic (Variance-Reduced) Proximal Gradient Method for Regularized Expected Reward Optimization [10.36447258513813]
我々は、強化学習(RL)における既存の問題の多くを網羅する非文献設定における正規化期待報酬最適化問題を考える。特に、標準条件下では、$O(epsilon-4)$サンプルを$epsilon$-stationaryポイントに含めることが示されている。分析の結果,サンプルの複雑さは,追加条件下では$O(epsilon-4)$から$O(epsilon-3)$に改善できることがわかった。
論文参考訳（メタデータ） (2024-01-23T06:01:29Z)
Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文参考訳（メタデータ） (2023-10-08T23:39:38Z)
Sample Complexity for Quadratic Bandits: Hessian Dependent Bounds and Optimal Algorithms [64.10576998630981]
最適なヘッセン依存型サンプルの複雑さを, 初めて厳密に評価した。ヘシアン非依存のアルゴリズムは、すべてのヘシアンインスタンスに対して最適なサンプル複雑さを普遍的に達成する。本アルゴリズムにより得られたサンプルの最適複雑さは,重み付き雑音分布においても有効である。
論文参考訳（メタデータ） (2023-06-21T17:03:22Z)
Debiasing Conditional Stochastic Optimization [15.901623717313493]
本稿では,ポートフォリオ選択や強化学習,堅牢な学習など,さまざまな応用をカバーする条件因果最適化(CSO)問題について検討する。有限変量変量CSO問題に対する新しいアルゴリズムを開発し、既存の結果を大幅に改善する。我々は,本手法が他の最適化問題と同様の課題に対処するための有用なツールとなる可能性があると考えている。
論文参考訳（メタデータ） (2023-04-20T19:19:55Z)
Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文参考訳（メタデータ） (2020-12-21T17:29:58Z)
Achieving fast high-fidelity optimal control of many-body quantum dynamics [0.0]
本稿では, 難解な多体問題に適用することで, 最近の高精度最適制御手法の有効性を実証する。我々は, プロセスの最小期間推定値を用いて, 0.99-0.9999の範囲の忠実度を観測した。全体として、この比較は理想的なオープンループ設定における多体システムに対しても重要な方法論的改善を示唆している。
論文参考訳（メタデータ） (2020-08-13T18:30:24Z)
Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。この場合、最先端の結果を上回る新たな複雑さが証明される。本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
論文参考訳（メタデータ） (2020-05-21T17:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。