論文の概要: SparsyFed: Sparse Adaptive Federated Training

• arxiv url: http://arxiv.org/abs/2504.05153v1
• Date: Mon, 07 Apr 2025 14:57:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:10:17.325369
• Title: SparsyFed: Sparse Adaptive Federated Training
• Title（参考訳）: SparsyFed: スパース適応型フェデレーショントレーニング
• Authors: Adriano Guastella, Lorenzo Sani, Alex Iacob, Alessio Mora, Paolo Bellavista, Nicholas D. Lane,
• Abstract要約: 本稿では,実践的なフェデレーションスパーストレーニング手法であるSparsyFedを提案する。 SparsyFedは95%のスパースモデルを同時に生成できることを示す。
• 参考スコア（独自算出の注目度）: 13.001548634185514
• License:
• Abstract: Sparse training is often adopted in cross-device federated learning (FL) environments where constrained devices collaboratively train a machine learning model on private data by exchanging pseudo-gradients across heterogeneous networks. Although sparse training methods can reduce communication overhead and computational burden in FL, they are often not used in practice for the following key reasons: (1) data heterogeneity makes it harder for clients to reach consensus on sparse models compared to dense ones, requiring longer training; (2) methods for obtaining sparse masks lack adaptivity to accommodate very heterogeneous data distributions, crucial in cross-device FL; and (3) additional hyperparameters are required, which are notably challenging to tune in FL. This paper presents SparsyFed, a practical federated sparse training method that critically addresses the problems above. Previous works have only solved one or two of these challenges at the expense of introducing new trade-offs, such as clients' consensus on masks versus sparsity pattern adaptivity. We show that SparsyFed simultaneously (1) can produce 95% sparse models, with negligible degradation in accuracy, while only needing a single hyperparameter, (2) achieves a per-round weight regrowth 200 times smaller than previous methods, and (3) allows the sparse masks to adapt to highly heterogeneous data distributions and outperform all baselines under such conditions.
• Abstract（参考訳）: スパーストレーニングは、異種ネットワーク間で擬似階調を交換することによって、制約のあるデバイスがプライベートデータ上で機械学習モデルを協調訓練するクロスデバイスフェデレーションラーニング(FL)環境で採用されることが多い。 スパーストレーニング手法は、FLにおける通信オーバーヘッドと計算負荷を低減できるが、(1)データ均一性により、より長いトレーニングを必要とする高密度モデルに比べてスパースモデルのコンセンサスにクライアントが到達しにくくなる、(2)デバイス間FLに不可欠な非常に異種なデータ分布に対応するための適応性に欠ける、(3)追加のハイパーパラメータが必要で、FLでは特にチューニングが困難である、といった主な理由から、実際には使用されないことが多い。 本稿では、上記の問題に批判的に対処する実践的なフェデレーションスパーストレーニング手法であるSparsyFedを提案する。 マスクとスパーシティパターンの適応性に対するクライアントの合意など、新たなトレードオフの導入を犠牲にして、これまでの作業では、これらの課題の1つないし2つのみが解決されている。 SparsyFed は 1 つのハイパーパラメータしか必要とせず,95% のスパースモデルを同時に生成できること,(2) 従来の手法の200倍の重量増加を達成すること,(3) スパースマスクが高度にヘテロジニアスなデータ分布に適応し,それらの条件下で全てのベースラインを上回り得ること,などが示されている。

関連論文リスト

• Federated Meta-Learning for Few-Shot Fault Diagnosis with Representation Encoding [21.76802204235636]
  本稿では,数発の故障診断のための表現符号化ベースフェデレーションメタラーニング(REFML)を提案する。 REFMLは、トレーニングクライアントの固有の一般化を活用して、効果的に、アウト・オブ・ディストリビューションの利点に変換する。 同じ機器の非表示作業条件でテストすると2.17%-6.50%、全く見えない機器でテストすると13.44%-18.33%の精度で精度が向上する。
  論文  参考訳（メタデータ） (2023-10-13T10:48:28Z)
• Communication-Efficient Federated Learning via Regularized Sparse Random Networks [21.491346993533572]
  本研究では,フェデレート学習におけるコミュニケーション効率向上のための新しい手法を提案する。 この設定では、二項マスクはモデル重みの代わりに最適化され、固定される。 伝統的な連邦学習における浮動小数点の重みよりも、Sの疎二元マスクが交換される。
  論文  参考訳（メタデータ） (2023-09-19T14:05:12Z)
• Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
  Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。 疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。 我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
  論文  参考訳（メタデータ） (2023-05-04T12:21:34Z)
• One-shot Federated Learning without Server-side Training [42.59845771101823]
  クライアントとサーバ間の通信コストを削減する手段として,ワンショットのフェデレーション学習が人気を集めている。 既存のワンショットFL法のほとんどは知識蒸留に基づいているが、蒸留に基づくアプローチでは追加のトレーニングフェーズが必要であり、公開されているデータセットや生成された擬似サンプルに依存する。 本研究では,サーバサイドのトレーニングなしで,ローカルモデル上で1ラウンドのパラメータアグリゲーションを実行するという,新しいクロスサイロ設定について考察する。
  論文  参考訳（メタデータ） (2022-04-26T01:45:37Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Sparsity Winning Twice: Better Robust Generalization from More Efficient Training [94.92954973680914]
  スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。 いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。 我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
  論文  参考訳（メタデータ） (2022-02-20T15:52:08Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees [115.08148491584997]
  本稿では,MASHA1 と MASHA2 の圧縮通信による変分不等式とサドル点問題の解法について理論的に検討した。 新しいアルゴリズムは双方向圧縮をサポートし、バッチの設定や、クライアントの部分的な参加を伴うフェデレーション学習のために修正することもできる。
  論文  参考訳（メタデータ） (2021-10-07T10:04:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。