論文の概要: Resource Allocation for Compression-aided Federated Learning with High Distortion Rate

• arxiv url: http://arxiv.org/abs/2206.06976v1
• Date: Thu, 2 Jun 2022 05:00:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-19 23:36:31.349342
• Title: Resource Allocation for Compression-aided Federated Learning with High Distortion Rate
• Title（参考訳）: 高歪み率の圧縮支援フェデレーション学習のための資源配分
• Authors: Xuan-Tung Nguyen, Minh-Duong Nguyen, Quoc-Viet Pham, Vinh-Quang Do, Won-Joo Hwang
• Abstract要約: 我々は、歪み率、参加IoTデバイス数、収束率の間の最適化支援FL問題を定式化する。 参加するIoTデバイスを積極的に制御することにより、通信効率を維持しながら圧縮支援FLのトレーニングばらつきを回避することができる。
• 参考スコア（独自算出の注目度）: 3.7530276852356645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, a considerable amount of works have been made to tackle the communication burden in federated learning (FL) (e.g., model quantization, data sparsification, and model compression). However, the existing methods, that boost the communication efficiency in FL, result in a considerable trade-off between communication efficiency and global convergence rate. We formulate an optimization problem for compression-aided FL, which captures the relationship between the distortion rate, number of participating IoT devices, and convergence rate. Following that, the objective function is to minimize the total transmission time for FL convergence. Because the problem is non-convex, we propose to decompose it into sub-problems. Based on the property of a FL model, we first determine the number of IoT devices participating in the FL process. Then, the communication between IoT devices and the server is optimized by efficiently allocating wireless resources based on a coalition game. Our theoretical analysis shows that, by actively controlling the number of participating IoT devices, we can avoid the training divergence of compression-aided FL while maintaining the communication efficiency.
• Abstract（参考訳）: 近年,連合学習(fl)におけるコミュニケーション負担(モデル量子化,データスパース化,モデル圧縮など)に取り組むための研究が数多く行われている。 しかし、FLにおける通信効率を高める既存の手法は、通信効率とグローバル収束率との間にかなりのトレードオフをもたらす。 圧縮支援FLの最適化問題を定式化し, 歪み率, 参加IoTデバイス数, 収束率の関係を把握した。 その後、FL収束の総伝送時間を最小化することが目的である。 問題は凸ではないので,サブプロブレムに分解することを提案する。 FLモデルの特性に基づいて、まずFLプロセスに参加するIoTデバイスの数を決定する。 そして、連立ゲームに基づいて無線リソースを効率よく割り当てることで、IoTデバイスとサーバ間の通信を最適化する。 理論解析の結果,iotデバイス数を積極的に制御することで,通信効率を維持しつつ圧縮支援flのトレーニングの相違を回避できることがわかった。

関連論文リスト

• Digital Twin-Assisted Federated Learning with Blockchain in Multi-tier Computing Systems [67.14406100332671]
  産業用 4.0 システムでは、リソース制約のあるエッジデバイスが頻繁にデータ通信を行う。 本稿では,デジタルツイン (DT) とフェデレーション付きデジタルツイン (FL) 方式を提案する。 提案手法の有効性を数値解析により検証した。
  論文  参考訳（メタデータ） (2024-11-04T17:48:02Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Scheduling and Aggregation Design for Asynchronous Federated Learning over Wireless Networks [56.91063444859008]
  Federated Learning(FL)は、デバイス上でのトレーニングとサーバベースのアグリゲーションを組み合わせた、協調的な機械学習フレームワークである。 FLシステムにおけるストラグラー問題に対処するために,周期的アグリゲーションを用いた非同期FL設計を提案する。 年齢認識の集約重み付け設計は,非同期FL設定における学習性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-12-14T17:33:01Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• CFLIT: Coexisting Federated Learning and Information Transfer [18.30671838758503]
  本研究では,モバイルエッジネットワークにおける無線放送と従来型情報伝達(IT)の共存性について検討する。 FLとITデバイスがOFDMシステムで無線スペクトルを共有するCFLIT(Commanded Learning and Information Transfer)通信フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-26T13:17:28Z)
• HCFL: A High Compression Approach for Communication-Efficient Federated Learning in Very Large Scale IoT Networks [27.963991995365532]
  フェデレートラーニング(FL)は、IoT(Internet-of-Things)デバイスが、処理のために生データを集中ノードに送信することなく、コラボレーティブモデルを学ぶことを可能にする、新たな人工知能の概念である。 多数のアドバンテージにもかかわらず、IoTデバイスの低コンピューティングリソースとモデルパラメータを交換するための高い通信コストは、巨大なIoTネットワークにおけるFLの応用を極めて限定している。 我々は,大規模IoTネットワークのための高速圧縮フェデレーション学習(HCFL)と呼ばれるFLのための新しい圧縮スキームを開発した。
  論文  参考訳（メタデータ） (2022-04-14T05:29:40Z)
• Over-the-Air Federated Learning with Retransmissions (Extended Version) [21.37147806100865]
  資源制約のある無線ネットワーク上でのフェデレート学習(FL)の収束に対する推定誤差の影響について検討する。 資源制約のある無線ネットワーク上でFL収束を改善する手法として再送信を提案する。
  論文  参考訳（メタデータ） (2021-11-19T15:17:15Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)
• 1-Bit Compressive Sensing for Efficient Federated Learning Over the Air [32.14738452396869]
  本稿では,1ビットセンシング(CS)をアナログアグリゲーション送信に組み込んだ,空気上の通信効率の高い学習手法を開発し,解析する。 スケーラブルコンピューティングでは,大規模ネットワークに適した効率的な実装を開発する。 シミュレーションの結果,提案した1ビットCSベースのFLは理想的な場合と同等の性能を示した。
  論文  参考訳（メタデータ） (2021-03-30T03:50:31Z)
• Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
  無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。 最適解を得るために,二項探索アルゴリズムを提案する。 シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-05T19:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。