論文の概要: Computation and Communication Efficient Lightweighting Vertical Federated Learning

• arxiv url: http://arxiv.org/abs/2404.00466v1
• Date: Sat, 30 Mar 2024 20:19:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 03:40:06.010103
• Title: Computation and Communication Efficient Lightweighting Vertical Federated Learning
• Title（参考訳）: 垂直的フェデレーション学習における計算とコミュニケーションの効率化
• Authors: Heqiang Wang, Jieming Bian, Lei Wang,
• Abstract要約: 本稿では,LVFL(Lightweight Vertical Federated Learning)の概念について紹介する。 このアプローチには、特徴モデルの分離された軽量化戦略、計算効率の向上、および通信効率の向上のための機能埋め込みが含まれる。 画像分類データセット上でのアルゴリズムの評価により,LVFLは頑健な学習性能を維持しつつ,計算と通信の要求を大幅に軽減することがわかった。
• 参考スコア（独自算出の注目度）: 4.742058918600289
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The exploration of computational and communication efficiency within Federated Learning (FL) has emerged as a prominent and crucial field of study. While most existing efforts to enhance these efficiencies have focused on Horizontal FL, the distinct processes and model structures of Vertical FL preclude the direct application of Horizontal FL-based techniques. In response, we introduce the concept of Lightweight Vertical Federated Learning (LVFL), targeting both computational and communication efficiencies. This approach involves separate lightweighting strategies for the feature model, to improve computational efficiency, and for feature embedding, to enhance communication efficiency. Moreover, we establish a convergence bound for our LVFL algorithm, which accounts for both communication and computational lightweighting ratios. Our evaluation of the algorithm on a image classification dataset reveals that LVFL significantly alleviates computational and communication demands while preserving robust learning performance. This work effectively addresses the gaps in communication and computational efficiency within Vertical FL.
• Abstract（参考訳）: フェデレートラーニング(FL)における計算とコミュニケーションの効率の探索は、顕著かつ重要な研究分野として現れている。 これらの効率性を高めるための既存の取り組みは、水平FLに重点を置いているが、垂直FLの異なるプロセスとモデル構造は、水平FLに基づく直接適用を妨げている。 そこで我々は,LVFL(Lightweight Vertical Federated Learning)の概念を導入し,計算効率と通信効率を両立させた。 このアプローチには、特徴モデルの分離された軽量化戦略、計算効率の向上、および通信効率の向上のための機能埋め込みが含まれる。 さらに,通信と計算の軽量化の両面で考慮したLVFLアルゴリズムの収束バウンダリを確立する。 画像分類データセット上でのアルゴリズムの評価により,LVFLは頑健な学習性能を維持しつつ,計算と通信の要求を大幅に軽減することがわかった。 この研究は、垂直FL内の通信と計算効率のギャップを効果的に解決する。

関連論文リスト

• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• Exploring the Practicality of Federated Learning: A Survey Towards the Communication Perspective [1.088537320059347]
  Federated Learning(FL)は、プライバシ保護、分散機械学習の大幅な進歩を提供する、有望なパラダイムである。 しかし、FLシステムの実践的な展開は、通信オーバーヘッドという大きなボトルネックに直面している。 本研究は,通信効率FLにおける様々な戦略と進歩について検討する。
  論文  参考訳（メタデータ） (2024-05-30T19:21:33Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• Resource Allocation for Compression-aided Federated Learning with High Distortion Rate [3.7530276852356645]
  我々は、歪み率、参加IoTデバイス数、収束率の間の最適化支援FL問題を定式化する。 参加するIoTデバイスを積極的に制御することにより、通信効率を維持しながら圧縮支援FLのトレーニングばらつきを回避することができる。
  論文  参考訳（メタデータ） (2022-06-02T05:00:37Z)
• Communication-Efficient Consensus Mechanism for Federated Reinforcement Learning [20.891460617583302]
  FLは、トレーニング効率と安定性の観点から、IRLのポリシー性能を向上させることができることを示す。 本稿では,モデル収束性能の向上と,必要な通信や計算オーバーヘッドの低減のバランスをとるために,システムユーティリティ関数を提案する。
  論文  参考訳（メタデータ） (2022-01-30T04:04:24Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)
• AsySQN: Faster Vertical Federated Learning Algorithms with Better Computation Resource Utilization [159.75564904944707]
  垂直連合学習(VFL)のための非同期準ニュートン(AsySQN)フレームワークを提案する。 提案アルゴリズムは、逆ヘッセン行列を明示的に計算することなく、近似して降下ステップをスケールする。 本稿では,非同期計算を採用することにより,計算資源の有効利用が期待できることを示す。
  論文  参考訳（メタデータ） (2021-09-26T07:56:10Z)
• 1-Bit Compressive Sensing for Efficient Federated Learning Over the Air [32.14738452396869]
  本稿では,1ビットセンシング(CS)をアナログアグリゲーション送信に組み込んだ,空気上の通信効率の高い学習手法を開発し,解析する。 スケーラブルコンピューティングでは,大規模ネットワークに適した効率的な実装を開発する。 シミュレーションの結果,提案した1ビットCSベースのFLは理想的な場合と同等の性能を示した。
  論文  参考訳（メタデータ） (2021-03-30T03:50:31Z)
• Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
  無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。 最適解を得るために,二項探索アルゴリズムを提案する。 シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-05T19:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。