論文の概要: Flight: A FaaS-Based Framework for Complex and Hierarchical Federated Learning

• arxiv url: http://arxiv.org/abs/2409.16495v1
• Date: Tue, 24 Sep 2024 22:49:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 08:11:05.673104
• Title: Flight: A FaaS-Based Framework for Complex and Hierarchical Federated Learning
• Title（参考訳）: Flight: 複雑で階層的なフェデレーション学習のためのFaaSベースのフレームワーク
• Authors: Nathaniel Hudson, Valerie Hayot-Sasson, Yadu Babuji, Matt Baughman, J. Gregory Pauloski, Ryan Chard, Ian Foster, Kyle Chard,
• Abstract要約: Federated Learning(FL)は、モデルを分散デバイス上でトレーニングし、中央サーバに集約する分散機械学習パラダイムである。 これは複雑な階層的な多層トポロジをサポートし、非同期アグリゲーションをサポートし、データプレーンからコントロールプレーンを分離する新しいFLフレームワークである。 その結果,FlightはFlighterを超えるスケールで最大2048個の同時デバイスをサポートし,FLを複数のモデルで削減できることがわかった。
• 参考スコア（独自算出の注目度）: 4.013679758489507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) is a decentralized machine learning paradigm where models are trained on distributed devices and are aggregated at a central server. Existing FL frameworks assume simple two-tier network topologies where end devices are directly connected to the aggregation server. While this is a practical mental model, it does not exploit the inherent topology of real-world distributed systems like the Internet-of-Things. We present Flight, a novel FL framework that supports complex hierarchical multi-tier topologies, asynchronous aggregation, and decouples the control plane from the data plane. We compare the performance of Flight against Flower, a state-of-the-art FL framework. Our results show that Flight scales beyond Flower, supporting up to 2048 simultaneous devices, and reduces FL makespan across several models. Finally, we show that Flight's hierarchical FL model can reduce communication overheads by more than 60%.
• Abstract（参考訳）: Federated Learning(FL)は、モデルを分散デバイス上でトレーニングし、中央サーバに集約する分散機械学習パラダイムである。 既存のFLフレームワークは、エンドデバイスがアグリゲーションサーバに直接接続される単純な2層ネットワークトポロジーを前提としている。 これは実践的なメンタルモデルであるが、インターネット・オブ・シングスのような現実世界の分散システムの本質的なトポロジを利用するものではない。 これは複雑な階層的な多層トポロジをサポートし、非同期アグリゲーションをサポートし、データプレーンからコントロールプレーンを分離する新しいFLフレームワークである。 最新のFLフレームワークであるFlight against Flowerの性能を比較した。 その結果,FlightはFlighterを超えるスケールで最大2048個の同時デバイスをサポートし,FLを複数のモデルで削減できることがわかった。 最後に,Flightの階層的FLモデルは通信オーバーヘッドを60%以上削減できることを示す。

関連論文リスト

• Federated Learning with MMD-based Early Stopping for Adaptive GNSS Interference Classification [4.674584508653125]
  フェデレートラーニング(FL)は、複数のデバイスがローカルサーバ上のデータを維持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。 本稿では,グローバルサーバ上でのモデルの重み付けと数ショット学習を用いたFL手法を提案する。 FLの模範的な応用は、グローバルナビゲーション衛星システム(GNSS)受信機からのスナップショットに基づいた干渉分類のために、高速道路に沿って機械学習モデルを編成することである。
  論文  参考訳（メタデータ） (2024-10-21T06:43:04Z)
• RBLA: Rank-Based-LoRA-Aggregation for Fine-tuning Heterogeneous Models in FLaaS [24.61534115484118]
  Low-Rank Adaptation (LoRA) はモデルのパラメータの低次元部分空間に着目してモデルを効率的に微調整する手法である。 異なるランクのモデルを集約する現在の方法は、パディングウェイトを均一な形状にすることで、グローバルモデルの性能を低下させることができる。 本稿では,フェデレート学習環境におけるアグリゲーションモデルの再形成に使用される現在のパディング手法の問題点を解析する。
  論文  参考訳（メタデータ） (2024-08-16T12:26:36Z)
• LIFL: A Lightweight, Event-driven Serverless Platform for Federated Learning [3.290817968509798]
  フェデレートラーニング(FL)は通常、個々のユーザデバイス/サーバのトレーニングモデルをローカルに配置した大規模分散システムを伴い、信頼された中央サーバ上でモデル更新を集約する。 FLの既存のシステムは、しばしばモデルアグリゲーションに常時オンのサーバーを使用するが、資源利用の面では非効率である。 本稿では,大規模で効率的なFLアグリゲーションを実現するための,きめ細かいリソース管理機能を備えた軽量で柔軟なサーバレスクラウドプラットフォームLIFLを提案する。
  論文  参考訳（メタデータ） (2024-05-05T23:04:37Z)
• Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
  高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。 アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。 我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-04T09:26:03Z)
• FS-Real: Towards Real-World Cross-Device Federated Learning [60.91678132132229]
  Federated Learning (FL)は、ローカルデータをアップロードすることなく、分散クライアントと協調して高品質なモデルをトレーニングすることを目的としている。 FL研究と実世界のシナリオの間には依然としてかなりのギャップがあり、主に異種デバイスの特徴とそのスケールによって引き起こされている。 本稿では,実世界横断デバイスFL,FS-Realのための効率的でスケーラブルなプロトタイピングシステムを提案する。
  論文  参考訳（メタデータ） (2023-03-23T15:37:17Z)
• Fed-FSNet: Mitigating Non-I.I.D. Federated Learning via Fuzzy Synthesizing Network [19.23943687834319]
  フェデレートラーニング(FL)は、将来性のあるプライバシ保護分散機械学習フレームワークとして登場した。 我々は、Fed-FSNetと呼ばれる新しいFLトレーニングフレームワークを提案し、Fed-FSNet(Fed-FSNet)を適切に設計し、非I.I.D.のオープンソース問題を軽減する。
  論文  参考訳（メタデータ） (2022-08-21T18:40:51Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)
• Federated Dropout -- A Simple Approach for Enabling Federated Learning on Resource Constrained Devices [40.69663094185572]
  フェデレートラーニング(FL)は、分散モバイルデータを使用したAIモデルを無線ネットワークでトレーニングするための一般的なフレームワークである。 実用FLに直面する大きな課題の1つは、リソース制約されたデバイスが、ディープニューラルネットワークモデルを更新する計算集約的なタスクに苦しむことである。 この課題に対処するために,ランダムモデルプルーニングのための古典的なドロップアウト方式に基づいて,フェデレートされたドロップアウト(FedDrop)方式を提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:52:13Z)
• Device Scheduling and Update Aggregation Policies for Asynchronous Federated Learning [72.78668894576515]
  Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。 本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-23T18:57:08Z)
• Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
  Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。 現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。 本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
  論文  参考訳（メタデータ） (2020-06-12T14:49:47Z)
• Federated Learning in the Sky: Joint Power Allocation and Scheduling with UAV Swarms [98.78553146823829]
  無人航空機(UAV)は様々なタスクを実行するために機械学習(ML)を利用する必要がある。 本稿では,UAVスワム内に分散学習(FL)アルゴリズムを実装するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-19T14:04:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。