論文の概要: CC-FedAvg: Computationally Customized Federated Averaging

• arxiv url: http://arxiv.org/abs/2212.13679v3
• Date: Sat, 1 Jul 2023 08:36:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-04 15:02:09.619860
• Title: CC-FedAvg: Computationally Customized Federated Averaging
• Title（参考訳）: CC-FedAvg: 計算によってカスタマイズされたフェデレーション平均化
• Authors: Hao Zhang, Tingting Wu, Siyao Cheng, Jie Liu
• Abstract要約: フェデレートラーニング(FL)は、多くのIoTデバイスから分散データでモデルをトレーニングするための新興パラダイムである。 計算集約的な反復を伴わずに局所モデルを推定する手法を提案する。 CC-FedAvgはリソース制約なしでFedAvgと同じ収束率と同等の性能を示す。
• 参考スコア（独自算出の注目度）: 11.687451505965655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is an emerging paradigm to train model with distributed data from numerous Internet of Things (IoT) devices. It inherently assumes a uniform capacity among participants. However, due to different conditions such as differing energy budgets or executing parallel unrelated tasks, participants have diverse computational resources in practice. Participants with insufficient computation budgets must plan for the use of restricted computational resources appropriately, otherwise they would be unable to complete the entire training procedure, resulting in model performance decline. To address this issue, we propose a strategy for estimating local models without computationally intensive iterations. Based on it, we propose Computationally Customized Federated Averaging (CC-FedAvg), which allows participants to determine whether to perform traditional local training or model estimation in each round based on their current computational budgets. Both theoretical analysis and exhaustive experiments indicate that CC-FedAvg has the same convergence rate and comparable performance as FedAvg without resource constraints. Furthermore, CC-FedAvg can be viewed as a computation-efficient version of FedAvg that retains model performance while considerably lowering computation overhead.
• Abstract（参考訳）: フェデレーション学習(federated learning, fl)は,iot(internet of things)デバイスからの分散データをトレーニングする,新たなパラダイムだ。 本来は参加者に均一な能力を与える。 しかし、エネルギー予算の相違や並列無関係なタスクの実行といった異なる条件のため、参加者は実際に様々な計算資源を持っている。 計算予算が不十分な参加者は、制限された計算リソースの使用を適切に計画しなければならない。 そこで本研究では,計算集約的な反復を伴わない局所モデル推定手法を提案する。 そこで本研究では,従来のローカルトレーニングを行うか,あるいは現在の計算予算に基づいて各ラウンドでモデル推定を行うかを決定することのできる,CC-FedAvg(Computationally Customized Federated Averaging)を提案する。 理論解析と徹底的な実験は、CC-FedAvgがリソース制約なしでFedAvgと同じ収束率と同等の性能を持つことを示している。 さらに、cc-fedavgはfedavgの計算効率の高いバージョンと見なすことができ、モデル性能を維持しつつ計算オーバーヘッドを大幅に削減することができる。

関連論文リスト

• FedHPL: Efficient Heterogeneous Federated Learning with Prompt Tuning and Logit Distillation [32.305134875959226]
  フェデレートラーニング(FL)は、分散クライアントが中央サーバーでモデルを協調訓練できるプライバシー保護パラダイムである。 我々はパラメータ効率の高い$textbfFed$erated Learning framework for $textbfH$eterogeneous settingsを提案する。 我々のフレームワークは最先端のFLアプローチより優れており、オーバーヘッドもトレーニングラウンドも少なくなっている。
  論文  参考訳（メタデータ） (2024-05-27T15:25:32Z)
• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• Scalable Federated Unlearning via Isolated and Coded Sharding [76.12847512410767]
  フェデレートされたアンラーニングは、クライアントレベルのデータエフェクトを削除するための有望なパラダイムとして登場した。 本稿では,分散シャーディングと符号化コンピューティングに基づく,スケーラブルなフェデレーション・アンラーニング・フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-29T08:41:45Z)
• Distributed Learning of Mixtures of Experts [0.0]
  私たちは、自然に分散されたデータセットや、計算を分散する潜在的に大きなデータセットを扱います。 本研究では,データ分散サブセットに並列に適合する局所的推定器から還元推定器を構築するために,専門家(MoE)モデルとアグリゲーション戦略を併用した分散学習手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T15:26:13Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Equitable-FL: Federated Learning with Sparsity for Resource-Constrained Environment [10.980548731600116]
  本稿では,資源制約環境下でうまく機能する疎結合型学習法を提案する。 私たちの目標は、ノードの空間、コンピューティング、帯域幅の不足に関わらず、学習を可能にすることです。 畳み込みニューラルネットワークのトレーニング実験の結果, 等価FLの有効性が検証された。
  論文  参考訳（メタデータ） (2023-09-02T08:40:17Z)
• Resource-Efficient Federated Hyperdimensional Computing [6.778675369739912]
  従来の超次元計算(HDC)では、より大きなモデルを訓練すると予測性能が向上するが、計算量、通信量、エネルギー資源も増大する。 提案したリソース効率のフレームワークは、複数の独立したHDCサブモデルをトレーニングすることで、そのような制約を緩和する。 提案手法は,計算資源や無線資源の消費を減らしながら,同等あるいは高い予測性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-06-02T08:07:14Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
  我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。 提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。 シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-06T16:51:09Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)
• Controlling Computation versus Quality for Neural Sequence Models [42.525463454120256]
  条件付き計算は、推論中にニューラルシーケンスモデル(トランスフォーマー)をより効率的かつ計算に適応させる。 i)WMT英仏訳と(ii)教師なし表現学習(BERT)の2つの課題に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2020-02-17T17:54:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。