Fugu-MT 論文翻訳(概要): Aggregating Capacity in FL through Successive Layer Training for Computationally-Constrained Devices

論文の概要: Aggregating Capacity in FL through Successive Layer Training for Computationally-Constrained Devices

arxiv url: http://arxiv.org/abs/2305.17005v1
Date: Fri, 26 May 2023 15:04:06 GMT
ステータス: 処理完了
システム内更新日: 2023-05-29 14:06:48.258283
Title: Aggregating Capacity in FL through Successive Layer Training for Computationally-Constrained Devices
Title（参考訳）: 計算制約型デバイスのための連続層学習によるflの集約能力
Authors: Kilian Pfeiffer, Ramin Khalili, J\"org Henkel
Abstract要約: フェデレートラーニング(FL)は通常、リソース制約されたエッジデバイス上で実行される。 FLトレーニングプロセスはそのような制約に合わせて調整されるべきである。本研究では,FLモデルのパラメータをデバイス上で連続的に凍結・訓練する手法を提案する。
参考スコア（独自算出の注目度）: 1.1602089225841632
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL) is usually performed on resource-constrained edge devices, e.g., with limited memory for the computation. If the required memory to train a model exceeds this limit, the device will be excluded from the training. This can lead to a lower accuracy as valuable data and computation resources are excluded from training, also causing bias and unfairness. The FL training process should be adjusted to such constraints. The state-of-the-art techniques propose training subsets of the FL model at constrained devices, reducing their resource requirements for training. But these techniques largely limit the co-adaptation among parameters of the model and are highly inefficient, as we show: it is actually better to train a smaller (less accurate) model by the system where all the devices can train the model end-to-end, than applying such techniques. We propose a new method that enables successive freezing and training of the parameters of the FL model at devices, reducing the training's resource requirements at the devices, while still allowing enough co-adaptation between parameters. We show through extensive experimental evaluation that our technique greatly improves the accuracy of the trained model (by 52.4 p.p.) compared with the state of the art, efficiently aggregating the computation capacity available on distributed devices.
Abstract（参考訳）: フェデレートラーニング(FL)は通常、リソース制約のあるエッジデバイス上で実行され、計算のメモリは限られている。モデルをトレーニングするために必要なメモリがこの制限を超えた場合、デバイスはトレーニングから除外される。これにより、貴重なデータや計算リソースがトレーニングから除外され、バイアスや不公平が生じるため、精度が低下する可能性がある。 flトレーニングプロセスは、そのような制約に合わせて調整されるべきである。最先端技術では、制約のあるデバイスにおけるFLモデルのトレーニングサブセットを提案し、トレーニングに必要なリソースを削減している。しかし、これらの手法はモデルのパラメータ間の共適応をほとんど制限し、非常に非効率である: 実際に、すべてのデバイスが、そのような手法を適用するよりも、エンド・ツー・エンドでモデルを訓練できるシステムによって、より小さな(正確にない)モデルを訓練する方がよい。本稿では,デバイスにおけるFLモデルのパラメータの連続的な凍結とトレーニングを可能にし,デバイスにおけるトレーニングのリソース要求を低減し,パラメータ間の共適応を十分に可能とした新しい手法を提案する。実験により,本手法はトレーニングされたモデルの精度(52.4 p.p.)を大幅に向上させ,分散デバイス上で利用可能な計算能力を効率的に集約することを示した。

関連論文リスト

Efficient Federated Finetuning of Tiny Transformers with Resource-Constrained Devices [10.676390348161888]
大規模言語モデル(LLM)は、大量のデータを必要とする。このようなモデルをパラメータ効率のよい方法で微調整するために、AdapterやLoRAのような技術が開発されている。提案手法は, 等質的あるいは異質な計算やメモリ制約を扱う場合, 現状よりも優れていることを示す。
論文参考訳（メタデータ） (2024-11-12T14:22:16Z)
Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文参考訳（メタデータ） (2023-12-23T07:47:07Z)
Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文参考訳（メタデータ） (2023-09-04T21:10:45Z)
Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文参考訳（メタデータ） (2023-05-04T09:26:03Z)
Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
論文参考訳（メタデータ） (2022-09-21T08:52:51Z)
CoCoFL: Communication- and Computation-Aware Federated Learning via Partial NN Freezing and Quantization [3.219812767529503]
我々は,すべてのデバイス上でNN構造を完全に維持する新しいFL手法であるCoCoFLを提案する。 CoCoFLはデバイス上の利用可能なリソースを効率的に利用し、制約されたデバイスがFLシステムに多大な貢献をすることができる。
論文参考訳（メタデータ） (2022-03-10T16:45:05Z)
Resource-Efficient and Delay-Aware Federated Learning Design under Edge Heterogeneity [10.702853653891902]
フェデレーテッド・ラーニング(FL)は、ワイヤレスエッジデバイスに機械学習を分散するための一般的な方法論として登場した。本研究では,FLにおけるモデル性能と資源利用のトレードオフを最適化することを検討する。提案したStoFedDelAvは、FL計算ステップに局所言語モデルコンバインダーを組み込む。
論文参考訳（メタデータ） (2021-12-27T22:30:15Z)
FedHe: Heterogeneous Models and Communication-Efficient Federated Learning [0.0]
フェデレートラーニング(FL)は、エッジデバイスを管理して、ローカルとプライベートのトレーニングデータを維持しながら、モデルを協調的にトレーニングすることができる。本稿では,異種モデルを学習し,非同期学習プロセスを支援する知識蒸留にインスパイアされた新しいFL法であるFedHeを提案する。
論文参考訳（メタデータ） (2021-10-19T12:18:37Z)
LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文参考訳（メタデータ） (2021-10-08T17:03:34Z)
Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-07-26T14:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。