論文の概要: An Operator Splitting View of Federated Learning

• arxiv url: http://arxiv.org/abs/2108.05974v1
• Date: Thu, 12 Aug 2021 21:22:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-16 13:04:25.659532
• Title: An Operator Splitting View of Federated Learning
• Title（参考訳）: フェデレーション学習の操作者分割ビュー
• Authors: Saber Malekmohammadi, Kiarash Shaloudegi, Zeou Hu, Yaoliang Yu
• Abstract要約: 過去数年間、学習(texttFL$)コミュニティは、新しい$texttFL$アルゴリズムの急増を目撃してきた。 我々は、異なるアルゴリズムを簡単に比較し、以前の収束結果と比較し、新しいアルゴリズムの変種を明らかにする。 統一アルゴリズムは、オーバーヘッドを伴わずに$texttFL$アルゴリズムを加速する方法も導き出す。
• 参考スコア（独自算出の注目度）: 23.99238431431463
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over the past few years, the federated learning ($\texttt{FL}$) community has witnessed a proliferation of new $\texttt{FL}$ algorithms. However, our understating of the theory of $\texttt{FL}$ is still fragmented, and a thorough, formal comparison of these algorithms remains elusive. Motivated by this gap, we show that many of the existing $\texttt{FL}$ algorithms can be understood from an operator splitting point of view. This unification allows us to compare different algorithms with ease, to refine previous convergence results and to uncover new algorithmic variants. In particular, our analysis reveals the vital role played by the step size in $\texttt{FL}$ algorithms. The unification also leads to a streamlined and economic way to accelerate $\texttt{FL}$ algorithms, without incurring any communication overhead. We perform numerical experiments on both convex and nonconvex models to validate our findings.
• Abstract（参考訳）: 過去数年間、連盟学習($\texttt{FL}$)コミュニティは、新しい$\texttt{FL}$アルゴリズムの急増を目撃してきた。 しかし、$\texttt{FL}$の理論の基盤はいまだ断片化されており、これらのアルゴリズムの完全な形式的な比較はいまだ解明されていない。 このギャップによって、既存の$\texttt{FL}$アルゴリズムの多くは、演算子分割の観点から理解可能であることを示す。 この統合により、異なるアルゴリズムを容易に比較し、前の収束結果を洗練し、新しいアルゴリズムの変種を明らかにすることができる。 特に,我々は,ステップサイズが持つ重要な役割を,$\texttt{FL}$アルゴリズムで明らかにした。 統一はまた、通信オーバーヘッドを発生させずに$\texttt{FL}$アルゴリズムを加速する、合理化され経済的な方法をもたらす。 コンベックスモデルと非凸モデルの両方で数値実験を行い,その結果を検証した。

関連論文リスト

• Perturb-and-Project: Differentially Private Similarities and Marginals [73.98880839337873]
  差分プライバシーのための入力摂動フレームワークを再検討し、入力にノイズを付加する。 まず、ペアワイズ・コサイン類似性をプライベートにリリースするための新しい効率的なアルゴリズムを設計する。 我々は,$k$の辺縁クエリを$n$の機能に対して計算する新しいアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2024-06-07T12:07:16Z)
• Efficient Algorithms for Generalized Linear Bandits with Heavy-tailed Rewards [40.99322897009357]
  トランケーションと平均中央値に基づく2つの新しいアルゴリズムを提案する。 我々のトラニケーションベースのアルゴリズムは、既存のトラニケーションベースのアプローチと区別して、オンライン学習をサポートする。 我々のアルゴリズムは,$epsilon=1$の既存アルゴリズムと比較して,対数係数による後悔境界を改善する。
  論文  参考訳（メタデータ） (2023-10-28T13:01:10Z)
• Efficiently Learning One-Hidden-Layer ReLU Networks via Schur Polynomials [50.90125395570797]
  正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。 本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
  論文  参考訳（メタデータ） (2023-07-24T14:37:22Z)
• Deterministic Nonsmooth Nonconvex Optimization [94.01526844386977]
  次元自由な次元自由アルゴリズムを得るにはランダム化が必要であることを示す。 我々のアルゴリズムは、ReLUネットワークを最適化する最初の決定論的次元自由アルゴリズムを得る。
  論文  参考訳（メタデータ） (2023-02-16T13:57:19Z)
• Differentially-Private Hierarchical Clustering with Provable Approximation Guarantees [79.59010418610625]
  階層クラスタリングのための微分プライベート近似アルゴリズムについて検討する。 例えば、$epsilon$-DPアルゴリズムは入力データセットに対して$O(|V|2/epsilon)$-additiveエラーを示さなければならない。 本稿では,ブロックを正確に復元する1+o(1)$近似アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-01-31T19:14:30Z)
• Private estimation algorithms for stochastic block models and mixture models [63.07482515700984]
  効率的なプライベート推定アルゴリズムを設計するための一般的なツール。 最初の効率的な$(epsilon, delta)$-differentially private algorithm for both weak recovery and exact recovery。
  論文  参考訳（メタデータ） (2023-01-11T09:12:28Z)
• Randomized Exploration for Reinforcement Learning with General Value Function Approximation [122.70803181751135]
  本稿では,ランダム化最小二乗値反復(RLSVI)アルゴリズムに着想を得たモデルレス強化学習アルゴリズムを提案する。 提案アルゴリズムは,スカラーノイズを用いたトレーニングデータを簡易に摂動させることにより,探索を促進する。 我々はこの理論を、既知の困難な探査課題にまたがる実証的な評価で補完する。
  論文  参考訳（メタデータ） (2021-06-15T02:23:07Z)
• A new heuristic algorithm for fast k-segmentation [0.0]
  文献には$k$-segmentationの厳密で近似的な方法が存在する。 本稿では,既存の手法を改善するために,新しいアルゴリズムを提案する。 計算コストのごく一部で正確な手法と競合するアキュラシーを提供することを実証的に見出した。
  論文  参考訳（メタデータ） (2020-09-02T04:50:17Z)
• Learning Sparse Classifiers: Continuous and Mixed Integer Optimization Perspectives [10.291482850329892]
  混合整数計画法(MIP)は、(最適に) $ell_0$-正規化回帰問題を解くために用いられる。 数分で5万ドルの機能を処理できる正確なアルゴリズムと、$papprox6$でインスタンスに対処できる近似アルゴリズムの2つのクラスを提案する。 さらに,$ell$-regularizedsに対する新しい推定誤差境界を提案する。
  論文  参考訳（メタデータ） (2020-01-17T18:47:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。