論文の概要: Trading-off Accuracy and Communication Cost in Federated Learning

• arxiv url: http://arxiv.org/abs/2503.14246v1
• Date: Tue, 18 Mar 2025 13:35:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:17:20.855342
• Title: Trading-off Accuracy and Communication Cost in Federated Learning
• Title（参考訳）: フェデレーション学習におけるトレードオフ精度とコミュニケーションコスト
• Authors: Mattia Jacopo Villani, Emanuele Natale, Frederik Mallmann-Trenn,
• Abstract要約: 我々は,34倍の通信コスト削減を実現するトレーニング・バイ・プルーニング・プロトコルを開発した。 トレーニング・バイ・サンプリングとランダム凸幾何学の新たなリンクを確立する。
• 参考スコア（独自算出の注目度）: 5.83744681136074
• License:
• Abstract: Leveraging the training-by-pruning paradigm introduced by Zhou et al. and Isik et al. introduced a federated learning protocol that achieves a 34-fold reduction in communication cost. We achieve a compression improvements of orders of orders of magnitude over the state-of-the-art. The central idea of our framework is to encode the network weights $\vec w$ by a the vector of trainable parameters $\vec p$, such that $\vec w = Q\cdot \vec p$ where $Q$ is a carefully-generate sparse random matrix (that remains fixed throughout training). In such framework, the previous work of Zhou et al. [NeurIPS'19] is retrieved when $Q$ is diagonal and $\vec p$ has the same dimension of $\vec w$. We instead show that $\vec p$ can effectively be chosen much smaller than $\vec w$, while retaining the same accuracy at the price of a decrease of the sparsity of $Q$. Since server and clients only need to share $\vec p$, such a trade-off leads to a substantial improvement in communication cost. Moreover, we provide theoretical insight into our framework and establish a novel link between training-by-sampling and random convex geometry.
• Abstract（参考訳）: Zhou et al と Isik et al が導入したトレーニング・バイ・プルーニングのパラダイムを活用して,34倍の通信コスト削減を実現するフェデレート学習プロトコルを導入した。 我々は、最先端技術よりも桁違いのオーダーを圧縮的に改善する。 我々のフレームワークの中心的な考え方は、トレーニング可能なパラメータのベクトルによって$\vec w$を符号化することであり、$\vec w = Q\cdot \vec p$ である。 そのようなフレームワークでは、Zhou et al [NeurIPS'19] の以前の作業は、$Q$が対角的であり、$\vec p$ が$\vec w$ と同じ次元を持つときに検索される。 代わりに、$\vec p$ が$\vec w$ よりもはるかに小さく選択できることを示し、同じ精度を$Q$ の間隔の減少の価格で保持する。 サーバとクライアントは$\vec p$を共有する必要があるため、このようなトレードオフは通信コストを大幅に向上させる。 さらに、我々の枠組みに関する理論的知見を提供し、トレーニング・バイ・サンプリングとランダム凸幾何学の新たなリンクを確立する。

関連論文リスト

• Displacement-Sparse Neural Optimal Transport [6.968698312185846]
  最適輸送(OT)理論は、ソース測度$Pをターゲット測度$Q$に輸送する写像$T:X to Y$を決定する。 ミニマックスワッサーシュタインの定式化にスパーシティペナルティを導入し、変位ベクトル $Delta(mathbfx) := T(mathbfx) := T(mathbfx) := T(mathbfx) := T(mathbfx) := T(mathbfx) := T(mathbfx) := T(mathbff) := T(mathbf)
  論文  参考訳（メタデータ） (2025-02-03T23:44:17Z)
• Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit Feedback and Unknown Transition [71.33787410075577]
  線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。 我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T15:03:50Z)
• A Quadratic Synchronization Rule for Distributed Deep Learning [66.68264684667562]
  本研究は、擬似同期規則(QSR)と呼ばれる$H$を決定するための理論基底法を提案する。 ResNet と ViT の実験により、QSR を用いた局所勾配法は、他の同期戦略よりもテスト精度を一貫して向上することが示された。
  論文  参考訳（メタデータ） (2023-10-22T21:38:57Z)
• Depth Dependence of $\mu$P Learning Rates in ReLU MLPs [72.14317069090407]
  我々は、最大更新(mu$P)学習率の$n$と$L$に依存することを研究する。 我々は、$L3/2.$のように、$L$の非自明な依存があることを発見した。
  論文  参考訳（メタデータ） (2023-05-13T01:10:49Z)
• The Fundamental Price of Secure Aggregation in Differentially Private Federated Learning [34.630300910399036]
  我々は、$varepsilon$ Central DPの下で最高の精度を得るために必要な基本的な通信コストを特徴付ける。 我々の結果は、$tildeOleft( min(n2varepsilon2, d) right)$ bits per client が十分かつ必要であることを示している。 これにより、最先端のSecAgg分散DPスキームに対して大幅に改善される。
  論文  参考訳（メタデータ） (2022-03-07T22:56:09Z)
• Distributed Sparse Feature Selection in Communication-Restricted Networks [6.9257380648471765]
  疎線形回帰と特徴選択のための新しい分散スキームを提案し,理論的に解析する。 データセット全体から因果次元を推定するために,ネットワーク内の情報共有をシンプルかつ効果的に行う手法を提案する。
  論文  参考訳（メタデータ） (2021-11-02T05:02:24Z)
• ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
  本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。 以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-11T14:45:00Z)
• Locality defeats the curse of dimensionality in convolutional teacher-student scenarios [69.2027612631023]
  学習曲線指数$beta$を決定する上で,局所性が重要であることを示す。 我々は、自然の仮定を用いて、トレーニングセットのサイズに応じて減少するリッジでカーネルレグレッションを実行すると、リッジレスの場合と同じような学習曲線指数が得られることを証明して結論付けた。
  論文  参考訳（メタデータ） (2021-06-16T08:27:31Z)
• Deep Learning Meets Projective Clustering [66.726500395069]
  NLPネットワークを圧縮するための一般的なアプローチは、埋め込み層を行列 $AinmathbbRntimes d$ としてエンコードすることである。 計算幾何学から遠射的クラスタリングに着想を得て、この部分空間を$k$部分空間の集合で置き換えることを提案する。
  論文  参考訳（メタデータ） (2020-10-08T22:47:48Z)
• Geometric compression of invariant manifolds in neural nets [2.461575510055098]
  ニューラルネットワークは、データが$d$次元にあるモデルにおいて、不定形入力空間をいかに圧縮するかを研究する。 勾配勾配勾配で訓練された一重層FCネットワークの場合、第一重みの層は、$d_perp=d-d_parallel$非形式的方向に対してほとんど無関心になる。 次に、圧縮がニューラルカーネル(NTK)の進化を経時的に形作っていることを示し、その最上位の固有ベクトルがより情報的になり、ラベルにより大きな投影を表示する。
  論文  参考訳（メタデータ） (2020-07-22T14:43:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。