論文の概要: Fast Composite Optimization and Statistical Recovery in Federated
Learning
- arxiv url: http://arxiv.org/abs/2207.08204v1
- Date: Sun, 17 Jul 2022 15:31:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-19 15:00:50.545516
- Title: Fast Composite Optimization and Statistical Recovery in Federated
Learning
- Title（参考訳）: フェデレーション学習における高速複合最適化と統計的回復
- Authors: Yajie Bao, Michael Crawshaw, Shan Luo, Mingrui Liu
- Abstract要約: Federated Learning (FL)は、頻繁なコミュニケーションを伴う大量のデバイス上で、グローバルモデルをトレーニングする。
本稿では,FL設定における合成最適化と統計的回復問題のクラスについて検討する。
- 参考スコア（独自算出の注目度）: 16.230696556387905
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a prevalent distributed learning paradigm, Federated Learning (FL) trains
a global model on a massive amount of devices with infrequent communication.
This paper investigates a class of composite optimization and statistical
recovery problems in the FL setting, whose loss function consists of a
data-dependent smooth loss and a non-smooth regularizer. Examples include
sparse linear regression using Lasso, low-rank matrix recovery using nuclear
norm regularization, etc. In the existing literature, federated composite
optimization algorithms are designed only from an optimization perspective
without any statistical guarantees. In addition, they do not consider commonly
used (restricted) strong convexity in statistical recovery problems. We advance
the frontiers of this problem from both optimization and statistical
perspectives. From optimization upfront, we propose a new algorithm named
\textit{Fast Federated Dual Averaging} for strongly convex and smooth loss and
establish state-of-the-art iteration and communication complexity in the
composite setting. In particular, we prove that it enjoys a fast rate, linear
speedup, and reduced communication rounds. From statistical upfront, for
restricted strongly convex and smooth loss, we design another algorithm, namely
\textit{Multi-stage Federated Dual Averaging}, and prove a high probability
complexity bound with linear speedup up to optimal statistical precision.
Experiments in both synthetic and real data demonstrate that our methods
perform better than other baselines. To the best of our knowledge, this is the
first work providing fast optimization algorithms and statistical recovery
guarantees for composite problems in FL.
- Abstract（参考訳）: 一般的な分散学習パラダイムとして、フェデレーション学習(fl)は、通信頻度の低い大量のデバイス上でグローバルモデルをトレーニングする。
本稿では,データ依存型スムース損失と非スムース正規化器からなるfl設定における複合最適化と統計リカバリ問題について検討する。
例えば、sparse linear regression using lasso、low-rank matrix recovery using nuclear norm regularizationなどである。
既存の文献では、連合複合最適化アルゴリズムは、統計的な保証なしに最適化の観点からのみ設計されている。
さらに、統計回復問題で一般的に使われる(制限された)強い凸性も考慮していない。
我々は最適化と統計的両面からこの問題のフロンティアを推し進める。
最適化の先駆けとして, 強い凸と滑らかな損失を解消し, 複合環境における最先端の反復と通信の複雑さを確立するために, textit{Fast Federated Dual Averaging} という新しいアルゴリズムを提案する。
特に、高速速度、リニアスピードアップ、通信ラウンドの削減を享受できることを実証する。
統計的事前から、厳密な凸と滑らかな損失を抑えるために、別のアルゴリズム、すなわち「textit{Multi-stage Federated Dual Averaging}」を設計し、線形スピードアップから最適統計精度までの高い確率複雑性を証明した。
合成データと実データの両方における実験は、我々の手法が他のベースラインよりも優れた性能を示す。
私たちの知る限りでは、flの複合問題に対する高速最適化アルゴリズムと統計的回復保証を提供する最初の作業です。
関連論文リスト
- From Inverse Optimization to Feasibility to ERM [11.731853838892487]
パラメータの予測に付加的なコンテキスト情報を利用するコンテキスト逆設定について検討する。
合成および実世界の問題に対する我々のアプローチを実験的に検証し,既存手法と比較して性能が向上したことを示す。
論文 参考訳（メタデータ） (2024-02-27T21:06:42Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-08-04T04:18:01Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Optimal Algorithms for Stochastic Complementary Composite Minimization [55.26935605535377]
統計学と機械学習における正規化技術に触発され,補完的な複合化の最小化について検討した。
予測と高い確率で、新しい過剰なリスク境界を提供する。
我々のアルゴリズムはほぼ最適であり、このクラスの問題に対して、新しいより低い複雑性境界によって証明する。
論文 参考訳（メタデータ） (2022-11-03T12:40:24Z) - Support Vector Machines with the Hard-Margin Loss: Optimal Training via
Combinatorial Benders' Cuts [8.281391209717105]
我々は、グローバルな最適性のために、ハードマージンのSVMモデルをトレーニングする方法を示す。
本稿では,この問題を解くための反復サンプリングと部分分解アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-07-15T18:21:51Z) - Matrix Completion via Non-Convex Relaxation and Adaptive Correlation
Learning [90.8576971748142]
閉形式解によって最適化できる新しいサロゲートを開発する。
そこで我々は, 上向きの相関関係を利用して, 適応的相関学習モデルを構築した。
論文 参考訳（メタデータ） (2022-03-04T08:50:50Z) - Smoothed Online Learning is as Easy as Statistical Learning [77.00766067963195]
この設定では、最初のオラクル効率、非回帰アルゴリズムを提供する。
古典的な設定で関数クラスが学習可能な場合、文脈的包帯に対するオラクル効率のよい非回帰アルゴリズムが存在することを示す。
論文 参考訳（メタデータ） (2022-02-09T19:22:34Z) - Gaining Outlier Resistance with Progressive Quantiles: Fast Algorithms
and Theoretical Studies [1.6457778420360534]
任意の損失関数を強固化するために, 外部抵抗推定の枠組みを導入する。
通常のデータセットでは、データ再見積の回数を大幅に削減できるような、開始点の要件を緩和する新しい手法が提案されている。
得られた推定器は、必ずしも大域的でも大域的でもなくても、両方の低次元において最適性を楽しむことができる。
論文 参考訳（メタデータ） (2021-12-15T20:35:21Z) - Resource-constrained Federated Edge Learning with Heterogeneous Data:
Formulation and Analysis [8.863089484787835]
ヘテロジニアスデータによる不均一な統計的課題を解決するために, 分散されたニュートン型ニュートン型トレーニングスキームであるFedOVAを提案する。
FedOVAはマルチクラス分類問題をより単純なバイナリ分類問題に分解し、アンサンブル学習を用いてそれぞれの出力を結合する。
論文 参考訳（メタデータ） (2021-10-14T17:35:24Z) - Slowly Varying Regression under Sparsity [5.22980614912553]
本稿では, 緩やかな過度回帰の枠組みを提示し, 回帰モデルが緩やかかつスパースな変動を示すようにした。
本稿では,バイナリ凸アルゴリズムとして再構成する手法を提案する。
結果として得られたモデルは、様々なデータセット間で競合する定式化よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-02-22T04:51:44Z) - Safeguarded Learned Convex Optimization [106.81731132086851]
解析最適化アルゴリズムは、反復的な方法で問題を確実に解くために手作業で設計することができる。
データ駆動アルゴリズムは、汎用最適化アルゴリズムと同様のイテレーション当たりのコストと、はるかに少ないイテレーションで"L2O"を最適化する。
我々はこれらのアプローチの利点を融合させるSafe-L2Oフレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-04T04:01:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。