論文の概要: Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization

• arxiv url: http://arxiv.org/abs/2305.06279v1
• Date: Thu, 4 May 2023 09:26:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-14 20:46:40.690631
• Title: Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization
• Title（参考訳）: クラウドRANによる垂直フェデレーション学習:収束解析とシステム最適化
• Authors: Yuanming Shi, Shuhao Xia, Yong Zhou, Yijie Mao, Chunxiao Jiang, Meixia Tao
• Abstract要約: 高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
• 参考スコア（独自算出の注目度）: 82.12796238714589
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vertical federated learning (FL) is a collaborative machine learning framework that enables devices to learn a global model from the feature-partition datasets without sharing local raw data. However, as the number of the local intermediate outputs is proportional to the training samples, it is critical to develop communication-efficient techniques for wireless vertical FL to support high-dimensional model aggregation with full device participation. In this paper, we propose a novel cloud radio access network (Cloud-RAN) based vertical FL system to enable fast and accurate model aggregation by leveraging over-the-air computation (AirComp) and alleviating communication straggler issue with cooperative model aggregation among geographically distributed edge servers. However, the model aggregation error caused by AirComp and quantization errors caused by the limited fronthaul capacity degrade the learning performance for vertical FL. To address these issues, we characterize the convergence behavior of the vertical FL algorithm considering both uplink and downlink transmissions. To improve the learning performance, we establish a system optimization framework by joint transceiver and fronthaul quantization design, for which successive convex approximation and alternate convex search based system optimization algorithms are developed. We conduct extensive simulations to demonstrate the effectiveness of the proposed system architecture and optimization framework for vertical FL.
• Abstract（参考訳）: Vertical Federated Learning(FL)は、デバイスがローカルな生データを共有せずに、機能分割データセットからグローバルモデルを学ぶことができる、共同機械学習フレームワークである。 しかし, 局所的な中間出力の数はトレーニングサンプルに比例するため, 完全デバイス参加を伴う高次元モデルアグリゲーションを支援するために, 無線縦型FLの通信効率向上技術を開発することが重要である。 本稿では,クラウド無線アクセスネットワーク(cloud-ran)ベースの垂直flシステムを提案する。このシステムでは,aircomp(over-the-air computation)を活用して高速かつ正確なモデルアグリゲーションを実現し,地理的に分散したエッジサーバ間の協調モデルアグリゲーションによる通信ストラグラー問題を緩和する。 しかし、エアコンによるモデル集約誤差と、限定されたフロントホール容量による量子化誤差は、垂直flの学習性能を低下させる。 これらの問題に対処するため,アップリンクとダウンリンクの両方を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 学習性能を向上させるために,逐次凸近似と交互凸探索に基づくシステム最適化アルゴリズムを開発できる,ジョイントトランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。 提案するシステムアーキテクチャと最適化フレームワークの有効性を実証するために,広範囲なシミュレーションを行った。

関連論文リスト

• Heterogeneity-Aware Resource Allocation and Topology Design for Hierarchical Federated Edge Learning [9.900317349372383]
  Federated Learning (FL)は、モバイルデバイス上で機械学習モデルをトレーニングするためのプライバシー保護フレームワークを提供する。 従来のFLアルゴリズム、例えばFedAvgはこれらのデバイスに重い通信負荷を課す。 エッジデバイスをエッジサーバに接続し,エッジサーバをピアツーピア(P2P)エッジバックホールを介して相互接続する2層HFELシステムを提案する。 我々の目標は、戦略的資源配分とトポロジ設計により、HFELシステムの訓練効率を向上させることである。
  論文  参考訳（メタデータ） (2024-09-29T01:48:04Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Scheduling and Aggregation Design for Asynchronous Federated Learning over Wireless Networks [56.91063444859008]
  Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。 FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。 年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-14T17:33:01Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• Resource-Efficient and Delay-Aware Federated Learning Design under Edge Heterogeneity [10.702853653891902]
  フェデレーテッド・ラーニング(FL)は、ワイヤレスエッジデバイスに機械学習を分散するための一般的な方法論として登場した。 本研究では,FLにおけるモデル性能と資源利用のトレードオフを最適化することを検討する。 提案したStoFedDelAvは、FL計算ステップに局所言語モデルコンバインダーを組み込む。
  論文  参考訳（メタデータ） (2021-12-27T22:30:15Z)
• Reconfigurable Intelligent Surface Enabled Federated Learning: A Unified Communication-Learning Design Approach [30.1988598440727]
  我々は,デバイス選択,無線トランシーバ設計,RIS構成を協調的に最適化する統一的なコミュニケーション学習最適化問題を開発した。 数値実験により,提案手法は最先端の手法と比較して,学習精度が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2020-11-20T08:54:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。