論文の概要: Second-Order Guarantees in Federated Learning

• arxiv url: http://arxiv.org/abs/2012.01474v1
• Date: Wed, 2 Dec 2020 19:30:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-25 04:05:19.359849
• Title: Second-Order Guarantees in Federated Learning
• Title（参考訳）: フェデレートラーニングにおける2次保証
• Authors: Stefan Vlaski, Elsa Rizk, Ali H. Sayed
• Abstract要約: フェデレーション学習は,分散データからの集中学習として有用なものだ。 本稿では,集中型および分散型設定における2次最適性アルゴリズムについて述べる。
• 参考スコア（独自算出の注目度）: 49.17137296715029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning is a useful framework for centralized learning from distributed data under practical considerations of heterogeneity, asynchrony, and privacy. Federated architectures are frequently deployed in deep learning settings, which generally give rise to non-convex optimization problems. Nevertheless, most existing analysis are either limited to convex loss functions, or only establish first-order stationarity, despite the fact that saddle-points, which are first-order stationary, are known to pose bottlenecks in deep learning. We draw on recent results on the second-order optimality of stochastic gradient algorithms in centralized and decentralized settings, and establish second-order guarantees for a class of federated learning algorithms.
• Abstract（参考訳）: フェデレーション学習は、異質性、非同期性、プライバシといった実践的な考慮の下で分散データから集中的に学習するための有用なフレームワークである。 フェデレーションアーキテクチャはディープラーニング環境に頻繁にデプロイされるため、通常は非凸最適化の問題が発生する。 しかしながら、既存の分析のほとんどは凸損失関数に制限されているか、あるいは一階定常点が深層学習のボトルネックとなることが知られているにもかかわらず、一階定常性を確立するのみである。 我々は,確率勾配アルゴリズムの集中的および分散的設定における2次最適性に関する最近の結果に基づいて,連合学習アルゴリズムのクラスに対する2次保証を確立する。

関連論文リスト

• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Fed-Sophia: A Communication-Efficient Second-Order Federated Learning Algorithm [28.505671833986067]
  フェデレーション学習(Federated Learning)は、複数のデバイスが、ローカル更新のみを共有することで、パラメータサーバの助けを借りて協調的に学習する、機械学習アプローチである。 この領域では勾配に基づく最適化手法が広く採用されているが、二階法が示す曲率情報は収束のガイドと高速化に不可欠である。 本稿では,フェデレートされた大規模モデルにおける曲率情報の導入を可能にする,スケーラブルな2次法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T09:57:30Z)
• Escaping Saddle Points in Heterogeneous Federated Learning via Distributed SGD with Communication Compression [42.85797250438604]
  本稿では,新しいエラーフィードバック方式により,圧縮された情報のみを伝達する新しいアルゴリズムPower-EFを提案する。 Power-EFは、データ均一性を仮定せずに不均一FLにおけるサドル点を確実に回避する最初の分散圧縮SGDアルゴリズムである。 我々の理論は、ローカルデータに対するより寛容な設定を拡張しながら、以前の結果を改善・復元する。
  論文  参考訳（メタデータ） (2023-10-29T16:24:53Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• FedSKETCH: Communication-Efficient and Private Federated Learning via Sketching [33.54413645276686]
  コミュニケーションの複雑さとプライバシは、フェデレートラーニングにおける2つの重要な課題である。 我々はFedSKETCHとFedSKETCHGATEアルゴリズムを導入し、Federated Learningにおける両方の課題に共同で対処する。
  論文  参考訳（メタデータ） (2020-08-11T19:22:48Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)
• Second-Order Guarantees in Centralized, Federated and Decentralized Nonconvex Optimization [64.26238893241322]
  単純なアルゴリズムは、多くの文脈において優れた経験的結果をもたらすことが示されている。 いくつかの研究は、非最適化問題を研究するための厳密な分析的正当化を追求している。 これらの分析における重要な洞察は、摂動が局所的な降下アルゴリズムを許容する上で重要な役割を担っていることである。
  論文  参考訳（メタデータ） (2020-03-31T16:54:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。