論文の概要: Bitwidth Heterogeneous Federated Learning with Progressive Weight Dequantization

• arxiv url: http://arxiv.org/abs/2202.11453v1
• Date: Wed, 23 Feb 2022 12:07:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-24 16:28:06.608149
• Title: Bitwidth Heterogeneous Federated Learning with Progressive Weight Dequantization
• Title（参考訳）: 進行重み分量化を用いたビット幅不均一フェデレーション学習
• Authors: Jaehong Yoon, Geon Park, Wonyong Jeong, Sung Ju Hwang
• Abstract要約: ビット幅の不均一なフェデレート学習(BHFL)を用いた実用的フェデレーション学習シナリオを提案する。 BHFLは、異なるビット幅のモデルパラメータの集約が深刻な性能劣化をもたらすという、新しい課題をもたらす。 本稿では,低ビット幅の重みをより高ビット幅の重みに段階的に再構成し,最終的に完全精度の重みに再構成する,トレーニング可能な重み決定器を中央サーバに備えたProWDフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 58.31288475660333
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In practical federated learning scenarios, the participating devices may have different bitwidths for computation and memory storage by design. However, despite the progress made in device-heterogeneous federated learning scenarios, the heterogeneity in the bitwidth specifications in the hardware has been mostly overlooked. We introduce a pragmatic FL scenario with bitwidth heterogeneity across the participating devices, dubbed as Bitwidth Heterogeneous Federated Learning (BHFL). BHFL brings in a new challenge, that the aggregation of model parameters with different bitwidths could result in severe performance degeneration, especially for high-bitwidth models. To tackle this problem, we propose ProWD framework, which has a trainable weight dequantizer at the central server that progressively reconstructs the low-bitwidth weights into higher bitwidth weights, and finally into full-precision weights. ProWD further selectively aggregates the model parameters to maximize the compatibility across bit-heterogeneous weights. We validate ProWD against relevant FL baselines on the benchmark datasets, using clients with varying bitwidths. Our ProWD largely outperforms the baseline FL algorithms as well as naive approaches (e.g. grouped averaging) under the proposed BHFL scenario.
• Abstract（参考訳）: 実用的な連合学習シナリオでは、計算とメモリ記憶のためのビット幅が設計によって異なる可能性がある。 しかしながら、デバイスヘテロゲネス連合学習シナリオにおける進歩にもかかわらず、ハードウェアにおけるビット幅仕様の不均一性はほとんど見過ごされてきた。 本稿では,bitwidth heterofederated learning (bhfl) と呼ばれる,ビット幅異種性を持つ実用的flシナリオを提案する。 BHFLは、特に高ビット幅モデルにおいて、異なるビット幅のモデルパラメータの集約が深刻な性能劣化をもたらすという、新しい課題をもたらす。 そこで本研究では,低ビット幅重みを高ビット幅重みに漸進的に再構成し,最終的に全精度重みに復元する,中央サーバにトレーニング可能な重み脱量子化器を備えたprowdフレームワークを提案する。 prowdはさらにモデルパラメータを選択的に集約し、ビット重みの互換性を最大化する。 ベンチマークデータセット上の関連するflベースラインに対して,ビット幅の異なるクライアントを用いてprowdを検証する。 我々のProWDは、提案したBHFLシナリオの下で、ベースラインFLアルゴリズムと単純アプローチ(例えば、グループ平均化)に大きく勝る。

関連論文リスト

• PIPE : Parallelized Inference Through Post-Training Quantization Ensembling of Residual Expansions [23.1120983784623]
  PIPEは、残差誤差展開とグループ間隔とアンサンブル近似を利用して、より良い並列化を実現する量子化法である。 すべてのベンチマークアプリケーション(ビジョンからNLPタスクまで)、アーキテクチャ(ConvNet、トランスフォーマー、ビット幅)において、優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-11-27T13:29:34Z)
• NeFL: Nested Model Scaling for Federated Learning with System Heterogeneous Clients [44.89061671579694]
  フェデレートラーニング(FL)は、データのプライバシを保ちながら分散トレーニングを可能にするが、ストラグラーのスローあるいは無効なクライアントは、トレーニング時間を大幅に短縮し、パフォーマンスを低下させる。 深層ニューラルネットワークを深層スケールと幅ワイドスケーリングの両方を用いてサブモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。 NeFLは、特に最低ケースのサブモデルでは、ベースラインアプローチに比べてパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-08-15T13:29:14Z)
• Quantization Robust Federated Learning for Efficient Inference on Heterogeneous Devices [18.1568276196989]
  フェデレートラーニング(FL)は、デバイス上に留まる分散データから機械学習モデルを分散的に学習するパラダイムである。 我々は、量子化に頑健なニューラルネットワークをトレーニングするフェデレーション平均化アルゴリズムを複数導入する。 本結果は,量子化オンデバイス推論において,異なるビット幅に対してはるかに堅牢なFLモデルにおいて,量子化ロバスト性の統合が生じることを示す。
  論文  参考訳（メタデータ） (2022-06-22T05:11:44Z)
• SlimFL: Federated Learning with Superposition Coding over Slimmable Neural Networks [56.68149211499535]
  フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。 本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2022-03-26T15:06:13Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Feature Distillation Interaction Weighting Network for Lightweight Image Super-Resolution [25.50790871331823]
  FDIWN(Feature Distillation Interaction Weighted Network)を提案する。 FDIWNは他のモデルよりも優れており、モデルの性能と効率のバランスが良い。
  論文  参考訳（メタデータ） (2021-12-16T06:20:35Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• Bayesian Federated Learning over Wireless Networks [87.37301441859925]
  フェデレーションラーニングは、ローカルデバイスに保存された異種データセットを使用したプライバシー保護と分散トレーニング方法です。 本稿では、スケーラブルBFL (SBFL) と呼ばれる効率的な修正BFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-31T07:32:44Z)
• Wide-band butterfly network: stable and efficient inversion via multi-frequency neural networks [1.2891210250935143]
  広帯域散乱データから逆散乱マップを近似するために,広帯域蝶ネットワーク(WideBNet)と呼ばれるエンドツーエンドのディープラーニングアーキテクチャを導入する。 このアーキテクチャでは、バタフライの分解のような計算調和解析や、クーリー・テューキーFFTアルゴリズムのような伝統的なマルチスケール手法のツールが組み込まれている。
  論文  参考訳（メタデータ） (2020-11-24T21:48:43Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。