論文の概要: Quantization Robust Federated Learning for Efficient Inference on
Heterogeneous Devices
- arxiv url: http://arxiv.org/abs/2206.10844v1
- Date: Wed, 22 Jun 2022 05:11:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-24 03:13:05.495592
- Title: Quantization Robust Federated Learning for Efficient Inference on
Heterogeneous Devices
- Title（参考訳）: 不均一デバイスにおける効率的な推論のための量子化ロバストフェデレーション学習
- Authors: Kartik Gupta, Marios Fournarakis, Matthias Reisser, Christos Louizos,
Markus Nagel
- Abstract要約: フェデレートラーニング(FL)は、デバイス上に留まる分散データから機械学習モデルを分散的に学習するパラダイムである。
我々は、量子化に頑健なニューラルネットワークをトレーニングするフェデレーション平均化アルゴリズムを複数導入する。
本結果は,量子化オンデバイス推論において,異なるビット幅に対してはるかに堅牢なFLモデルにおいて,量子化ロバスト性の統合が生じることを示す。
- 参考スコア（独自算出の注目度）: 18.1568276196989
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) is a machine learning paradigm to distributively
learn machine learning models from decentralized data that remains on-device.
Despite the success of standard Federated optimization methods, such as
Federated Averaging (FedAvg) in FL, the energy demands and hardware induced
constraints for on-device learning have not been considered sufficiently in the
literature. Specifically, an essential demand for on-device learning is to
enable trained models to be quantized to various bit-widths based on the energy
needs and heterogeneous hardware designs across the federation. In this work,
we introduce multiple variants of federated averaging algorithm that train
neural networks robust to quantization. Such networks can be quantized to
various bit-widths with only limited reduction in full precision model
accuracy. We perform extensive experiments on standard FL benchmarks to
evaluate our proposed FedAvg variants for quantization robustness and provide a
convergence analysis for our Quantization-Aware variants in FL. Our results
demonstrate that integrating quantization robustness results in FL models that
are significantly more robust to different bit-widths during quantized
on-device inference.
- Abstract（参考訳）: Federated Learning(FL)は、デバイス上に留まる分散データから機械学習モデルを分散的に学習する機械学習パラダイムである。
FLにおけるフェデレーション平均化(FedAvg)のような標準フェデレーション最適化手法の成功にもかかわらず、デバイス上での学習に対するエネルギー需要やハードウェアによる制約は文献上十分に考慮されていない。
具体的には、デバイス上での学習に欠かせない要求は、トレーニングされたモデルを様々なビット幅に量子化できるようにすることである。
本研究では、量子化に頑健なニューラルネットワークをトレーニングするフェデレーション平均化アルゴリズムの複数の変種を紹介する。
このようなネットワークは様々なビット幅に量子化でき、完全な精度のモデルの精度を限定するだけである。
標準flベンチマークの広範な実験を行い,提案するfedavgの量子化ロバスト性を評価するとともに,flの量子化認識型に対する収束解析を行った。
本結果は,量子化オンデバイス推論において,異なるビット幅に対してはるかに堅牢なFLモデルにおいて,量子化ロバスト性の統合が生じることを示す。
関連論文リスト
- Prioritizing Modalities: Flexible Importance Scheduling in Federated Multimodal Learning [5.421492821020181]
Federated Learning(FL)は、デバイスがローカルデータを共有せずにモデルを協調的にトレーニングできる分散機械学習アプローチである。
FLを実世界のデータに適用することは、特に既存のFL研究が不正なデータに焦点を当てているため、課題を提示している。
我々は,各モードエンコーダのトレーニングリソースを適応的に割り当てることで,MFLにおける計算効率を向上させる新しい手法FlexModを提案する。
論文 参考訳（メタデータ） (2024-08-13T01:14:27Z) - OnDev-LCT: On-Device Lightweight Convolutional Transformers towards
federated learning [29.798780069556074]
フェデレートラーニング(FL)は、複数のエッジデバイスにまたがる機械学習モデルを協調的にトレーニングするための、有望なアプローチとして登場した。
トレーニングデータとリソースに制限のあるオンデバイスビジョンタスクのための軽量畳み込み変換器を提案する。
論文 参考訳（メタデータ） (2024-01-22T02:17:36Z) - Mixed-Precision Quantization for Federated Learning on
Resource-Constrained Heterogeneous Devices [17.56259695496955]
本稿では,資源不均一なFLシステムに混合精度量子化を導入する新しいFLアルゴリズムであるFedMPQを提案する。
具体的には、ビット幅制約を満たすために量子化された局所モデルは、目的関数を最適化することによって訓練される。
ローカルトレーニングの次のラウンドを初期化するために、サーバは、異なるクライアントに配信されるモデルのビット幅割り当てをカスタマイズするために、前回のトレーニングラウンドで学んだ情報に依存する。
論文 参考訳（メタデータ） (2023-11-29T22:43:40Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳（メタデータ） (2023-10-04T03:32:39Z) - Performance Optimization for Variable Bitwidth Federated Learning in
Wireless Networks [103.22651843174471]
本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。
提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。
FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
論文 参考訳（メタデータ） (2022-09-21T08:52:51Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳（メタデータ） (2022-03-18T04:58:34Z) - Bitwidth Heterogeneous Federated Learning with Progressive Weight
Dequantization [58.31288475660333]
ビット幅の不均一なフェデレート学習(BHFL)を用いた実用的フェデレーション学習シナリオを提案する。
BHFLは、異なるビット幅のモデルパラメータの集約が深刻な性能劣化をもたらすという、新しい課題をもたらす。
本稿では,低ビット幅の重みをより高ビット幅の重みに段階的に再構成し,最終的に完全精度の重みに再構成する,トレーニング可能な重み決定器を中央サーバに備えたProWDフレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-23T12:07:02Z) - Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。
本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-26T14:37:51Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳（メタデータ） (2020-06-05T07:10:22Z) - Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。
本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。
その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
論文 参考訳（メタデータ） (2020-03-07T11:55:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。