論文の概要: Distributed Primal-Dual Algorithms: Unification, Connections, and Insights
- arxiv url: http://arxiv.org/abs/2502.00470v1
- Date: Sat, 01 Feb 2025 15:56:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 15:02:03.360548
- Title: Distributed Primal-Dual Algorithms: Unification, Connections, and Insights
- Title（参考訳）: 分散Primal-Dualアルゴリズム:統一、接続、洞察
- Authors: Runxiong Wu, Dong Liu, Xueqin Wang, Andi Wang,
- Abstract要約: 分散環境での一般的な経験的リスク最小化問題に対する原始双対アルゴリズムについて検討する。
アルゴリズムの両クラスは、原始変数と双対変数のみを含む統一された更新形式に変換可能であることを示す。
- 参考スコア（独自算出の注目度）: 5.87788855821817
- License:
- Abstract: We study primal-dual algorithms for general empirical risk minimization problems in distributed settings, focusing on two prominent classes of algorithms. The first class is the communication-efficient distributed dual coordinate ascent (CoCoA), derived from the coordinate ascent method for solving the dual problem. The second class is the alternating direction method of multipliers (ADMM), including consensus ADMM, linearized ADMM, and proximal ADMM. We demonstrate that both classes of algorithms can be transformed into a unified update form that involves only primal and dual variables. This discovery reveals key connections between the two classes of algorithms: CoCoA can be interpreted as a special case of proximal ADMM for solving the dual problem, while consensus ADMM is closely related to a proximal ADMM algorithm. This discovery provides the insight that by adjusting the augmented Lagrangian parameter, we can easily enable the ADMM variants to outperform the CoCoA variants. We further explore linearized versions of ADMM and analyze the effects of tuning parameters on these ADMM variants in the distributed setting. Our theoretical findings are supported by extensive simulation studies and real-world data analysis.
- Abstract（参考訳）: 本稿では,2種類のアルゴリズムに焦点をあて,分散環境での一般的な経験的リスク最小化問題に対する原始双対アルゴリズムについて検討する。
最初のクラスは通信効率のよい分散二重座標アセンジ(CoCoA)であり、双対問題を解くための座標アセンジ法から導かれる。
第2のクラスは、コンセンサスADMM、線形化ADMM、近似ADMMを含む乗算器の交互方向法である。
アルゴリズムの両クラスは、原始変数と双対変数のみを含む統一された更新形式に変換可能であることを実証する。
CoCoAは2つの問題を解決するための近似ADMMの特別なケースとして解釈できるが、コンセンサスADMMは近似ADMMアルゴリズムと密接に関連している。
この発見は、拡張されたラグランジアンパラメータを調整することで、ADMMの変種がCoCoAの変種を上回ることを容易に実現できるという洞察を与える。
さらに、ADMMの線形化バージョンについて検討し、分散環境でのこれらのADMM変種に対するチューニングパラメータの影響を分析する。
我々の理論的な知見は、広範囲なシミュレーション研究と実世界のデータ分析によって裏付けられている。
関連論文リスト
- Provably Efficient Information-Directed Sampling Algorithms for Multi-Agent Reinforcement Learning [50.92957910121088]
本研究は,情報指向サンプリング(IDS)の原理に基づくマルチエージェント強化学習(MARL)のための新しいアルゴリズムの設計と解析を行う。
エピソディックな2プレーヤゼロサムMGに対して、ナッシュ平衡を学習するための3つのサンプル効率アルゴリズムを提案する。
我々は、Reg-MAIDSをマルチプレイヤー汎用MGに拡張し、ナッシュ平衡または粗相関平衡をサンプル効率良く学習できることを証明する。
論文 参考訳（メタデータ） (2024-04-30T06:48:56Z) - Meta-Learning Adversarial Bandit Algorithms [55.72892209124227]
我々は,バンディットフィードバックを用いたオンラインメタラーニングについて研究する。
我々は自己協和障壁正規化器を用いてオンラインミラー降下一般化(OMD)をチューニングすることを学ぶ。
論文 参考訳（メタデータ） (2023-07-05T13:52:10Z) - Algorithm-Dependent Bounds for Representation Learning of Multi-Source
Domain Adaptation [7.6249291891777915]
我々は情報理論ツールを用いて、表現学習の観点からMDA(Multi-source Domain Adaptation)の新たな分析を導出する。
本稿では,結合アライメントによる目標シフトに暗黙的に対処する,新しい深度MDAアルゴリズムを提案する。
提案アルゴリズムは、目標シフトしたMDAベンチマークの最先端性能に匹敵し、メモリ効率が向上した。
論文 参考訳（メタデータ） (2023-04-04T18:32:20Z) - FIXED: Frustratingly Easy Domain Generalization with Mixup [53.782029033068675]
ドメイン一般化(Domain Generalization, DG)は、複数のトレーニングドメインから一般化可能なモデルを学ぶことを目的としている。
一般的な戦略は、Mixupcitezhang 2018mixupのようなメソッドによる一般化のためにトレーニングデータを拡張することである。
我々は、MixupベースのDG、すなわちドメイン不変の特徴mIXup(FIX)の簡易かつ効果的な拡張を提案する。
提案手法は,9つの最先端手法よりも優れており,試験精度の面では,ベースラインの平均6.5%を上回っている。
論文 参考訳（メタデータ） (2022-11-07T09:38:34Z) - ADPS: Asymmetric Distillation Post-Segmentation for Image Anomaly
Detection [75.68023968735523]
知識蒸留に基づく異常検出 (KDAD) 法は, 異常領域を検出し, セグメント化するために, 教師学生のパラダイムに頼っている。
非対称蒸留ポストセグメンテーション(ADPS)と呼ばれる革新的なアプローチを提案する。
我々のADPSは、教師-学生ネットワークの入力と同じイメージの異なる形態の非対称蒸留パラダイムを採用している。
ADPSは,MVTec ADとKolektorSDD2データセットで平均精度(AP)を9%,20%向上させることを示した。
論文 参考訳（メタデータ） (2022-10-19T12:04:47Z) - A Distributed Algorithm for Measure-valued Optimization with Additive
Objective [1.0965065178451106]
本稿では,加法目的を用いた測度パラメトリック最適化問題の解法として,分散非数値アルゴリズムを提案する。
提案アルゴリズムは2層交互方向乗算器(ADMM)からなる。
全体のアルゴリズムは、確率測度の多様体内の流れの演算子分割勾配を実現する。
論文 参考訳（メタデータ） (2022-02-17T23:09:41Z) - A Convergent ADMM Framework for Efficient Neural Network Training [17.764095204676973]
乗算器の交互方向法(ADMM)は多くの分類と回帰の応用において大きな成功を収めた。
本稿では,ADMM (dlADMM) を用いてニューラルネットワークの一般的なトレーニング問題を同時に解くための新しい枠組みを提案する。
提案したdlADMMアルゴリズムの収束, 効率, 有効性を示す7つのベンチマークデータセットの実験を行った。
論文 参考訳（メタデータ） (2021-12-22T01:55:24Z) - Adaptive Stochastic ADMM for Decentralized Reinforcement Learning in
Edge Industrial IoT [106.83952081124195]
強化学習 (Reinforcement Learning, RL) は, 意思決定および最適制御プロセスのための有望な解法として広く研究されている。
本稿では,Adaptive ADMM (asI-ADMM)アルゴリズムを提案する。
実験の結果,提案アルゴリズムは通信コストやスケーラビリティの観点から技術状況よりも優れており,複雑なIoT環境に適応できることがわかった。
論文 参考訳（メタデータ） (2021-06-30T16:49:07Z) - A Framework of Inertial Alternating Direction Method of Multipliers for
Non-Convex Non-Smooth Optimization [17.553531291690025]
非平滑なマルチブロック複合問題のクラスを解くために,iADMM(iADMM)と呼ばれるアルゴリズムフレームワークを提案する。
本フレームワークでは,従来のADMMスキームの収束解析を統一するために,変数の各ブロックを更新するために,ジェネラル・メイジャー・サロゲート化(MM)原理を用いる。
論文 参考訳（メタデータ） (2021-02-10T13:55:28Z) - Differentially Private ADMM Algorithms for Machine Learning [38.648113004535155]
勾配摂動による乗算器(ADMM)の高効率な個人交互方向法について検討した。
差分型ADMM(DP-ADMM)アルゴリズムを提案し,性能保証を$(epsilon,delta)$-differential privacy とする。
論文 参考訳（メタデータ） (2020-10-31T01:37:24Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳（メタデータ） (2020-10-02T10:41:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。