論文の概要: Moreau Envelope ADMM for Decentralized Weakly Convex Optimization
- arxiv url: http://arxiv.org/abs/2308.16752v1
- Date: Thu, 31 Aug 2023 14:16:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-01 14:14:37.881174
- Title: Moreau Envelope ADMM for Decentralized Weakly Convex Optimization
- Title（参考訳）: 分散弱凸最適化のためのモローエンベロープADMM
- Authors: Reza Mirzaeifard, Naveen K. D. Venkategowda, Alexander Jung, Stefan
Werner
- Abstract要約: 本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。
数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
- 参考スコア（独自算出の注目度）: 55.2289666758254
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a proximal variant of the alternating direction method of
multipliers (ADMM) for distributed optimization. Although the current versions
of ADMM algorithm provide promising numerical results in producing solutions
that are close to optimal for many convex and non-convex optimization problems,
it remains unclear if they can converge to a stationary point for weakly convex
and locally non-smooth functions. Through our analysis using the Moreau
envelope function, we demonstrate that MADM can indeed converge to a stationary
point under mild conditions. Our analysis also includes computing the bounds on
the amount of change in the dual variable update step by relating the gradient
of the Moreau envelope function to the proximal function. Furthermore, the
results of our numerical experiments indicate that our method is faster and
more robust than widely-used approaches.
- Abstract（参考訳）: 本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。
ADMMアルゴリズムの現在のバージョンは、多くの凸および非凸最適化問題に対して最適に近い解を生成する上で有望な数値結果を提供するが、弱凸および局所非滑らかな関数の定常点に収束できるかどうかは不明である。
モローエンベロープ関数を用いて解析することにより,MADMが穏やかな条件下で定常点に収束できることを実証する。
また、モローエンベロープ関数の勾配を近位関数に関連付けることにより、二重変数更新ステップの変化量に関する境界を計算することを含む。
さらに, 数値実験の結果から, 提案手法は広く用いられている手法よりも高速かつ堅牢であることが示唆された。
関連論文リスト
- Variable Substitution and Bilinear Programming for Aligning Partially Overlapping Point Sets [48.1015832267945]
本研究では,RPMアルゴリズムの最小化目的関数を用いて要求を満たす手法を提案する。
分岐とバウンド(BnB)アルゴリズムが考案され、パラメータのみに分岐し、収束率を高める。
実験による評価は,非剛性変形,位置雑音,外れ値に対する提案手法の高剛性を示す。
論文 参考訳（メタデータ） (2024-05-14T13:28:57Z) - Diffusion Stochastic Optimization for Min-Max Problems [33.73046548872663]
楽観的勾配法はミニマックス最適化問題に対処するのに有用である。
従来のバージョンでは大きなバッチサイズが必要であり,Samevareps-generativeOGOGと呼ばれる新しい定式化を導入,解析する。
論文 参考訳（メタデータ） (2024-01-26T01:16:59Z) - Moreau-Yoshida Variational Transport: A General Framework For Solving Regularized Distributional Optimization Problems [3.038642416291856]
クラス確率分布上に定義された複合目的関数を最小化する一般的な最適化問題を考える。
本稿では,正規分布最適化問題の解法として,モロー・吉田変分輸送(MYVT)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-07-31T01:14:42Z) - Min-Max Optimization Made Simple: Approximating the Proximal Point
Method via Contraction Maps [77.8999425439444]
本稿では,凸/凹凸 min-max 問題に対して,ほぼ最適収束率を許容する一階法を提案する。
我々の研究は、近点法の更新規則を精度良く近似できるという事実に基づいている。
論文 参考訳（メタデータ） (2023-01-10T12:18:47Z) - Robust Multi-view Registration of Point Sets with Laplacian Mixture
Model [25.865100974015412]
重み付きラプラシアン分布に基づいて複数の点集合を整列させる新しい確率的生成法を提案する。
本稿では,提案手法の利点を,ベンチマークの挑戦的データセットに対する最先端手法と比較することによって示す。
論文 参考訳（メタデータ） (2021-10-26T14:49:09Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳（メタデータ） (2021-10-20T02:25:25Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - Converting ADMM to a Proximal Gradient for Convex Optimization Problems [4.56877715768796]
融解ラッソや凸クラスタリングなどのスパース推定では、問題を解くために、近位勾配法またはマルチプライヤー(ADMM)の交互方向法のいずれかを適用します。
本論文では,制約と目的が強く凸であると仮定し,ADMM溶液を近位勾配法に変換する一般的な方法を提案する。
数値実験により, 効率の面で有意な改善が得られることを示した。
論文 参考訳（メタデータ） (2021-04-22T07:41:12Z) - The Role of Momentum Parameters in the Optimal Convergence of Adaptive
Polyak's Heavy-ball Methods [12.93796690939018]
適応型Polyak's Heavy-ball (HB) 法は最適な個人収束率を$O(frac1sqrtt)$とする。
新しい解析では,hb運動量とその時間的変動が凸最適化の高速化にどのように役立つかを示す。
論文 参考訳（メタデータ） (2021-02-15T02:57:14Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳（メタデータ） (2020-06-11T17:43:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。