Fugu-MT 論文翻訳(概要): ELF: Federated Langevin Algorithms with Primal, Dual and Bidirectional Compression

論文の概要: ELF: Federated Langevin Algorithms with Primal, Dual and Bidirectional Compression

arxiv url: http://arxiv.org/abs/2303.04622v1
Date: Wed, 8 Mar 2023 14:40:15 GMT
ステータス: 処理完了
システム内更新日: 2023-03-09 13:36:24.795906
Title: ELF: Federated Langevin Algorithms with Primal, Dual and Bidirectional Compression
Title（参考訳）: ELF: プリマル,デュアル,双方向圧縮を用いたLangevinアルゴリズム
Authors: Avetik Karagulyan and Peter Richt\'arik
Abstract要約: フェデレートされたサンプリングアルゴリズムは、最近、機械学習と統計学のコミュニティで大きな人気を集めている。本稿では,Error Feedback Langevin Algorithm (ELF) と呼ばれるアルゴリズムの変種について検討する。本稿では,P-ELF,D-ELF,B-ELFの3つのアルゴリズムを提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated sampling algorithms have recently gained great popularity in the community of machine learning and statistics. This paper studies variants of such algorithms called Error Feedback Langevin algorithms (ELF). In particular, we analyze the combinations of EF21 and EF21-P with the federated Langevin Monte-Carlo. We propose three algorithms: P-ELF, D-ELF, and B-ELF that use, respectively, primal, dual, and bidirectional compressors. We analyze the proposed methods under Log-Sobolev inequality and provide non-asymptotic convergence guarantees.
Abstract（参考訳）: フェデレーションサンプリングアルゴリズムは最近、機械学習と統計のコミュニティで大きな人気を得ている。本稿では,エラーフィードバックランジュバンアルゴリズム(elf)と呼ばれるアルゴリズムの変種について検討する。特に, EF21とEF21-PとLangevin Monte-Carloの組合せを解析した。本稿では,P-ELF,D-ELF,B-ELFの3つのアルゴリズムを提案する。提案手法をlog-sobolev不等式で解析し,非漸近収束保証を提供する。

関連論文リスト

Revisiting Extragradient-Type Methods -- Part 1: Generalizations and Sublinear Convergence Rates [6.78476672849813]
本稿では、方程式と包摂性の両方を解くためのよく知られた指数関数法(EG法)を包括的に分析する。アルゴリズムのクラス全体のサブ線形ベストイテレートとラストイテレートの収束率を分析する。我々は、新しいアルゴリズムのクラスとそれに対応する収束結果を導入し、上述のEGフレームワークをモノトーンの包含に拡張する。
論文参考訳（メタデータ） (2024-09-25T12:14:05Z)
The role of quantum and classical correlations in shrinking algorithms for optimization [0.0]
最適化問題(COP)における縮小アルゴリズムの性能について検討する。量子近似最適化アルゴリズム (QAOA) と古典線形計画法 (LP) と半定値計画法 (SDP) の相関によるアルゴリズムの性能の比較を行った。その結果、LPは低密度のインスタンスに対して他の全てのアプローチよりも優れており、SDPは高密度の問題に対して優れていた。
論文参考訳（メタデータ） (2024-04-26T08:29:04Z)
Optimal estimation of Gaussian (poly)trees [25.02920605955238]
分布学習(KL距離)と構造学習(正確な回復)の両問題を考察する。最初のアプローチはChow-Liuアルゴリズムに基づいており、最適な木構造分布を効率的に学習する。第2のアプローチは、制約に基づく構造学習のための条件付き独立試験器として部分相関を用いたポリツリーに対するPCアルゴリズムの修正である。
論文参考訳（メタデータ） (2024-02-09T12:58:36Z)
ALEXR: An Optimal Single-Loop Algorithm for Convex Finite-Sum Coupled Compositional Stochastic Optimization [53.14532968909759]
ALEXRと呼ばれる,効率的な単ループプリマルデュアルブロックコーディネートアルゴリズムを提案する。本研究では, ALEXR の凸面および強凸面の収束速度を滑らか性および非滑らか性条件下で確立する。本稿では,ALEXRの収束速度が,検討されたcFCCO問題に対する1次ブロック座標アルゴリズムの中で最適であることを示すために,より低い複雑性境界を示す。
論文参考訳（メタデータ） (2023-12-04T19:00:07Z)
Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
論文参考訳（メタデータ） (2023-02-24T18:41:48Z)
Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
論文参考訳（メタデータ） (2023-01-30T15:46:39Z)
Hybrid quantum-classical algorithms for approximate graph coloring [65.62256987706128]
量子近似最適化アルゴリズム(RQAOA)をMAX-$k$-CUTに適用する方法を示す。任意のグラフに対するレベル-$1$QAOAとレベル-$1$RQAOAをシミュレートした,効率的な古典的シミュレーションアルゴリズムを構築する。
論文参考訳（メタデータ） (2020-11-26T18:22:21Z)
Federated Composite Optimization [28.11253930828807]
Federated Learning(FL)は、デバイス上での学習を協調的にプライベートにスケールする分散学習パラダイムである。 FedAvgのような標準FLアルゴリズムは、主にスムーズな制約のない設定に向けられている。本稿では,新しいサーバの二重平均化手法を用いることで,プライマリ・デュアル平均化の呪いを回避できる新しいプライマリ・デュアル平均化アルゴリズムであるフェデレート・デュアル平均化(FedDual Avg)を提案する。
論文参考訳（メタデータ） (2020-11-17T06:54:06Z)
A Unified Linear Speedup Analysis of Federated Averaging and Nesterov FedAvg [49.76940694847521]
フェデレーションラーニング(FL)は、互いにプライベートに保持されたデータを共有せずに、参加する一連のデバイスからモデルを共同で学習する。本稿では,FedAvg(Federated Averaging, FedAvg)に焦点をあてる。また,FedAvgは収束率や通信効率が異なるが,各ケースで線形スピードアップを享受していることを示す。
論文参考訳（メタデータ） (2020-07-11T05:59:08Z)
Finite-sample Analysis of Greedy-GQ with Linear Function Approximation under Markovian Noise [23.62008807533706]
本稿では,Greedy-GQアルゴリズムの最初の有限サンプル解析法を提案する。本稿では,2つの時間スケール強化学習アルゴリズムの有限サンプル解析を拡張した。
論文参考訳（メタデータ） (2020-05-20T16:35:19Z)
Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
論文参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。