論文の概要: Basis Matters: Better Communication-Efficient Second Order Methods for Federated Learning

• arxiv url: http://arxiv.org/abs/2111.01847v1
• Date: Tue, 2 Nov 2021 19:09:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-04 14:03:37.335416
• Title: Basis Matters: Better Communication-Efficient Second Order Methods for Federated Learning
• Title（参考訳）: Basis Matters: フェデレーション学習のためのコミュニケーション効率の良い2次手法
• Authors: Xun Qian and Rustem Islamov and Mher Safaryan and Peter Richt\'arik
• Abstract要約: Em Basis Learn (BL) はニュートン方式の通信コストを大幅に削減できることを示す。 Em BL法と双方向圧縮機構を併用して通信コストを削減する新しいNewton-type法(BL1)を提案する。 条件数に依存しない局所線形および超線形の速度を証明した。
• 参考スコア（独自算出の注目度）: 5.400491728405083
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in distributed optimization have shown that Newton-type methods with proper communication compression mechanisms can guarantee fast local rates and low communication cost compared to first order methods. We discover that the communication cost of these methods can be further reduced, sometimes dramatically so, with a surprisingly simple trick: {\em Basis Learn (BL)}. The idea is to transform the usual representation of the local Hessians via a change of basis in the space of matrices and apply compression tools to the new representation. To demonstrate the potential of using custom bases, we design a new Newton-type method (BL1), which reduces communication cost via both {\em BL} technique and bidirectional compression mechanism. Furthermore, we present two alternative extensions (BL2 and BL3) to partial participation to accommodate federated learning applications. We prove local linear and superlinear rates independent of the condition number. Finally, we support our claims with numerical experiments by comparing several first and second~order~methods.
• Abstract（参考訳）: 分散最適化の最近の進歩は、適切な通信圧縮機構を持つニュートン型手法は、一階法に比べて高速な局所レートと低い通信コストを保証できることを示している。 これらの手法の通信コストは、驚くほど単純なトリックでさらに削減され、時には劇的に削減できることが判明した: {\em basis learn (bl)}。 その考え方は、行列空間における基底の変化を通じて局所ヘッセンの通常の表現を変換し、新しい表現に圧縮ツールを適用することである。 カスタムベースを使用する可能性を示すため,新しいNewton-type Method (BL1) を設計した。 さらに,federated learningアプリケーションに対応するために,部分参加のための2つの代替拡張(bl2とbl3)を提案する。 条件数に依存しない局所線形および超線形率を示す。 最後に,いくつかの第1および第2次--メソッドを比較することで,数値実験による主張を裏付ける。

関連論文リスト

• Graph-Sequential Alignment and Uniformity: Toward Enhanced Recommendation Systems [51.716704243764994]
  我々のフレームワークはグラフニューラルネットワーク(GNN)ベースのシーケンシャルレコメンデータを別個のサブモジュールとして使用し、同時に最適化された統合埋め込み空間を共同で共有する。 3つの実世界のデータセットの実験により、提案手法はどちらのアプローチも単独で大幅に性能が向上することを示した。
  論文  参考訳（メタデータ） (2024-12-05T15:59:05Z)
• FedNS: A Fast Sketching Newton-Type Algorithm for Federated Learning [27.957498393822338]
  我々は, 高速収束率を保ちながら, この問題に対処するための新しいアプローチを導入する。 提案手法はFedNS (Federated Newton Sketch Method) と名付けられ, 正確なヘシアンではなく, スケッチした平方根ヘシアンを通信することにより, ニュートンの手法を近似する。 連合ニュートンスケッチ手法の統計的学習に基づく収束解析を行う。
  論文  参考訳（メタデータ） (2024-01-05T10:06:41Z)
• Communication Acceleration of Local Gradient Methods via an Accelerated Primal-Dual Algorithm with Inexact Prox [11.564643329398438]
  我々はMishchenko et al (2022)と同じ通信加速度を得る代替アルゴリズムを提案する。 我々のアプローチはChambolle and Pock (2011) の有名な手法に基づいており、いくつかの非自明な修正を加えている。 提案手法は,ネットワーク上での最適化にも適用可能であり,理論的改善も得られている。
  論文  参考訳（メタデータ） (2022-07-08T15:24:13Z)
• FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type Method for Federated Learning [75.46959684676371]
  我々は、クライアントからPSにヘッセン情報を送信する必要がないFedNewという新しいフレームワークを紹介した。 FedNewは勾配情報を隠蔽し、既存の最先端技術と比べてプライバシー保護のアプローチをもたらす。
  論文  参考訳（メタデータ） (2022-06-17T15:21:39Z)
• Distributed Newton-Type Methods with Communication Compression and Bernoulli Aggregation [11.870393751095083]
  曲率情報に対する同調圧縮と集約機構について検討する。 適応しきい値処理やベルヌーイ集約といった新しい3PC機構は、通信の低減と時折ヘッセン計算を必要とする。 全ての方法について、高速条件数非依存の局所線型および/または超線型収束率を導出する。
  論文  参考訳（メタデータ） (2022-06-07T21:12:21Z)
• Bi-level Alignment for Cross-Domain Crowd Counting [113.78303285148041]
  現在の手法は、補助的なタスクを訓練したり、高価な粗大な見積もりを適用したりするための外部データに依存している。 そこで我々は, 簡易かつ効率的に適用可能な, 逆学習に基づく新しい手法を開発した。 実世界の5つのクラウドカウントベンチマークに対するアプローチを評価し、既存のアプローチを大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-05-12T02:23:25Z)
• Permutation Compressors for Provably Faster Distributed Nonconvex Optimization [68.8204255655161]
  本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。 MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
  論文  参考訳（メタデータ） (2021-10-07T09:38:15Z)
• Distributed Second Order Methods with Fast Rates and Compressed Communication [6.069611493148631]
  分散最適化のための通信効率の高い第2次手法を複数開発する。 我々は大域的な部分線型および線形収束率と高速超線形速度を証明した。 結果は実データセットでの実験結果と共にサポートされます。
  論文  参考訳（メタデータ） (2021-02-14T14:06:45Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• A Generic First-Order Algorithmic Framework for Bi-Level Programming Beyond Lower-Level Singleton [49.23948907229656]
  Bi-level Descent Aggregationは、汎用的な双方向最適化のためのフレキシブルでモジュール化されたアルゴリズムフレームワークである。 LLS条件なしでBDAの収束を証明する新しい手法を導出する。 我々の研究は、BDAが特定の一階計算モジュールの検証と互換性があることも示している。
  論文  参考訳（メタデータ） (2020-06-07T05:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。