Fugu-MT 論文翻訳(概要): CCFL: Computationally Customized Federated Learning

論文の概要: CCFL: Computationally Customized Federated Learning

arxiv url: http://arxiv.org/abs/2212.13679v1
Date: Wed, 28 Dec 2022 03:32:29 GMT
ステータス: 処理完了
システム内更新日: 2022-12-29 15:02:45.261847
Title: CCFL: Computationally Customized Federated Learning
Title（参考訳）: ccfl: 計算にカスタマイズされた連合学習
Authors: Hao Zhang, Tingting Wu, Siyao Cheng, Jie Liu
Abstract要約: フェデレートラーニング(Federated Learning)は、多数の参加者から分散データでモデルをトレーニングする手法である。本来は参加者の均一な能力を想定している。非効率な計算資源を持つ参加者の計算オーバーヘッドを低減する必要がある。
参考スコア（独自算出の注目度）: 11.687451505965655
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) is a method to train model with distributed data from numerous participants such as IoT devices. It inherently assumes a uniform capacity among participants. However, participants have diverse computational resources in practice due to different conditions such as different energy budgets or executing parallel unrelated tasks. It is necessary to reduce the computation overhead for participants with inefficient computational resources, otherwise they would be unable to finish the full training process. To address the computation heterogeneity, in this paper we propose a strategy for estimating local models without computationally intensive iterations. Based on it, we propose Computationally Customized Federated Learning (CCFL), which allows each participant to determine whether to perform conventional local training or model estimation in each round based on its current computational resources. Both theoretical analysis and exhaustive experiments indicate that CCFL has the same convergence rate as FedAvg without resource constraints. Furthermore, CCFL can be viewed of a computation-efficient extension of FedAvg that retains model performance while considerably reducing computation overhead.
Abstract（参考訳）: フェデレートラーニング(Federated Learning, FL)は、IoTデバイスなどの多数の参加者から分散データでモデルをトレーニングする手法である。本来は参加者に均一な能力を与える。しかし、参加者は様々なエネルギー予算や並列無関係タスクの実行といった異なる条件のために、実際に様々な計算資源を持っている。非効率な計算資源を持つ参加者の計算オーバーヘッドを低減する必要があるが、そうでなければ、完全なトレーニングプロセスを終えることができないだろう。本稿では,計算の不均質性に対処するために,計算集約的な反復を伴わずに局所モデルを推定する手法を提案する。そこで本研究では,各参加者が現在の計算資源に基づいて,各ラウンドで従来のローカルトレーニングを行うか,あるいはモデル推定を行うかを決定することができるCCFL(Computationally Customized Federated Learning)を提案する。理論解析と徹底的な実験は、CCFLがリソース制約なしでFedAvgと同じ収束率を持つことを示している。さらに、CCFLは計算オーバーヘッドを大幅に削減しつつモデル性能を維持するFedAvgの計算効率の向上を見ることができる。

関連論文リスト

DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2025-02-18T02:37:26Z)
Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
論文参考訳（メタデータ） (2025-01-06T21:16:51Z)
LCFed: An Efficient Clustered Federated Learning Framework for Heterogeneous Data [21.341280782748278]
クラスタ型フェデレーションラーニング(CFL)は、フェデレーションラーニング(FL)におけるデータ不均一性に起因するパフォーマンス上の課題に対処する。既存のCFLアプローチは、クラスタ内の知識共有を厳密に制限し、クラスタ内のトレーニングとグローバル知識の統合を欠いている。これらの課題に対処するための効率的なCFLフレームワークであるLCFedを提案する。
論文参考訳（メタデータ） (2025-01-03T14:59:48Z)
FedHPL: Efficient Heterogeneous Federated Learning with Prompt Tuning and Logit Distillation [32.305134875959226]
フェデレートラーニング(FL)は、分散クライアントが中央サーバーでモデルを協調訓練できるプライバシー保護パラダイムである。我々はパラメータ効率の高い$textbfFed$erated Learning framework for $textbfH$eterogeneous settingsを提案する。我々のフレームワークは最先端のFLアプローチより優れており、オーバーヘッドもトレーニングラウンドも少なくなっている。
論文参考訳（メタデータ） (2024-05-27T15:25:32Z)
Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
論文参考訳（メタデータ） (2024-05-07T17:44:54Z)
Scalable Federated Unlearning via Isolated and Coded Sharding [76.12847512410767]
フェデレートされたアンラーニングは、クライアントレベルのデータエフェクトを削除するための有望なパラダイムとして登場した。本稿では,分散シャーディングと符号化コンピューティングに基づく,スケーラブルなフェデレーション・アンラーニング・フレームワークを提案する。
論文参考訳（メタデータ） (2024-01-29T08:41:45Z)
A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文参考訳（メタデータ） (2023-09-02T11:01:16Z)
Equitable-FL: Federated Learning with Sparsity for Resource-Constrained Environment [10.980548731600116]
本稿では,資源制約環境下でうまく機能する疎結合型学習法を提案する。私たちの目標は、ノードの空間、コンピューティング、帯域幅の不足に関わらず、学習を可能にすることです。畳み込みニューラルネットワークのトレーニング実験の結果, 等価FLの有効性が検証された。
論文参考訳（メタデータ） (2023-09-02T08:40:17Z)
Resource-Efficient Federated Hyperdimensional Computing [6.778675369739912]
従来の超次元計算(HDC)では、より大きなモデルを訓練すると予測性能が向上するが、計算量、通信量、エネルギー資源も増大する。提案したリソース効率のフレームワークは、複数の独立したHDCサブモデルをトレーニングすることで、そのような制約を緩和する。提案手法は,計算資源や無線資源の消費を減らしながら,同等あるいは高い予測性能を実現することを示す。
論文参考訳（メタデータ） (2023-06-02T08:07:14Z)
Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
論文参考訳（メタデータ） (2023-01-22T17:12:58Z)
Controlling Computation versus Quality for Neural Sequence Models [42.525463454120256]
条件付き計算は、推論中にニューラルシーケンスモデル(トランスフォーマー)をより効率的かつ計算に適応させる。 i)WMT英仏訳と(ii)教師なし表現学習(BERT)の2つの課題に対するアプローチを評価する。
論文参考訳（メタデータ） (2020-02-17T17:54:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。