論文の概要: A Distributed and Elastic Aggregation Service for Scalable Federated Learning Systems

• arxiv url: http://arxiv.org/abs/2204.07767v1
• Date: Sat, 16 Apr 2022 09:57:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-19 16:33:08.280216
• Title: A Distributed and Elastic Aggregation Service for Scalable Federated Learning Systems
• Title（参考訳）: スケーラブルなフェデレーション学習システムのための分散および弾性アグリゲーションサービス
• Authors: Ahmad Khan, Yuze Li, Ali Anwar, Yue Cheng, Thang Hoang, Nathalie Baracaldo and Ali Butt
• Abstract要約: フェデレートラーニングの最先端システムは、デバイスの大きなコーパスのトレーニングや大規模モデルのトレーニングに不十分な単一ノードアグリゲータをサポートする。 各負荷を処理するための新しいアグリゲーションサービスを提案する。 我々のシステムは、既存の並列および分散フレームワークを利用したフォールトトレラントで堅牢で効率的な集約ソリューションを提供する。
• 参考スコア（独自算出の注目度）: 7.724343710986787
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning has promised a new approach to resolve the challenges in machine learning by bringing computation to the data. The popularity of the approach has led to rapid progress in the algorithmic aspects and the emergence of systems capable of simulating Federated Learning. State of art systems in Federated Learning support a single node aggregator that is insufficient to train a large corpus of devices or train larger-sized models. As the model size or the number of devices increase the single node aggregator incurs memory and computation burden while performing fusion tasks. It also faces communication bottlenecks when a large number of model updates are sent to a single node. We classify the workload for the aggregator into categories and propose a new aggregation service for handling each load. Our aggregation service is based on a holistic approach that chooses the best solution depending on the model update size and the number of clients. Our system provides a fault-tolerant, robust and efficient aggregation solution utilizing existing parallel and distributed frameworks. Through evaluation, we show the shortcomings of the state of art approaches and how a single solution is not suitable for all aggregation requirements. We also provide a comparison of current frameworks with our system through extensive experiments.
• Abstract（参考訳）: Federated Learningは、データに計算を導入して機械学習の課題を解決するための新しいアプローチを約束した。 このアプローチの人気は、アルゴリズム的な側面の急速な進歩と、フェデレート学習をシミュレートできるシステムの出現につながった。 state of art systems in federated learningは,大規模なデバイスコーパスのトレーニングや大規模モデルのトレーニングに不十分な,単一のノードアグリゲータをサポートする。 モデルサイズやデバイス数が増えると、単一のノードアグリゲータはメモリと計算負荷を発生させ、融合タスクを実行する。 多数のモデル更新が単一ノードに送信される場合、通信のボトルネックにも直面する。 我々は,アグリゲータのワークロードをカテゴリに分類し,各負荷を処理するための新しいアグリゲータサービスを提案する。 私たちのアグリゲーションサービスは、モデル更新サイズとクライアント数に応じて最適なソリューションを選択する包括的なアプローチに基づいています。 既存の並列分散フレームワークを活用したフォールトトレラントでロバストで効率的な集約ソリューションを提供する。 評価を通じて,最先端のアプローチの欠点と,単一ソリューションがすべての集約要件にどのように適合しないかを示す。 広範な実験を通じて、現在のフレームワークとシステムの比較も行っています。

関連論文リスト

• Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
  異常と欠落したデータは、産業応用における厄介な問題を構成する。 ディープラーニングによる異常検出が重要な方向として現れている。 エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
  論文  参考訳（メタデータ） (2024-11-06T15:38:31Z)
• Heterogeneity-Aware Resource Allocation and Topology Design for Hierarchical Federated Edge Learning [9.900317349372383]
  Federated Learning (FL)は、モバイルデバイス上で機械学習モデルをトレーニングするためのプライバシー保護フレームワークを提供する。 従来のFLアルゴリズム、例えばFedAvgはこれらのデバイスに重い通信負荷を課す。 エッジデバイスをエッジサーバに接続し,エッジサーバをピアツーピア(P2P)エッジバックホールを介して相互接続する2層HFELシステムを提案する。 我々の目標は、戦略的資源配分とトポロジ設計により、HFELシステムの訓練効率を向上させることである。
  論文  参考訳（メタデータ） (2024-09-29T01:48:04Z)
• Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
  本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。 この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
  論文  参考訳（メタデータ） (2024-08-26T17:03:14Z)
• Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
  本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。 マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
  論文  参考訳（メタデータ） (2023-10-04T20:27:20Z)
• User Assignment and Resource Allocation for Hierarchical Federated Learning over Wireless Networks [20.09415156099031]
  階層FL(Hierarchical FL)は、効率的なリソース割り当てと適切なユーザ割り当てによって、エネルギー消費とレイテンシを低減する。 本稿では,スペクトル資源最適化アルゴリズム(SROA)とHFLのための2段階CPUアルゴリズム(TSIA)を提案する。 実験により,提案したHFLフレームワークは,エネルギーと遅延低減に関する既存の研究よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-09-17T12:10:39Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Efficient and Secure Federated Learning for Financial Applications [15.04345368582332]
  本稿では,フェデレート学習における通信コスト削減のための2つのスペーシング手法を提案する。 1つは、モデルパラメータ更新のための時間変化の階層的スペーシフィケーション法であり、高比のスペーシリティ後のモデル精度を維持する問題の解決である。 もう1つは、セキュアアグリゲーションフレームワークにスパシフィケーション手法を適用することである。
  論文  参考訳（メタデータ） (2023-03-15T04:15:51Z)
• Energy-Aware Edge Association for Cluster-based Personalized Federated Learning [2.3262774900834606]
  無線ネットワーク上のフェデレートラーニングは、プライバシ保存モデルトレーニングのために、ネットワークエッジにおけるユビキタスインテリジェンスを活用することによって、データ意識のサービスを可能にする。 我々は、類似した好みのユーザデバイスをグループ化するクラスタ化フェデレーション学習を提案し、各クラスタにパーソナライズされたモデルを提供する。 モデル精度、通信資源割り当て、エネルギー消費を共同で考慮し、精度-コストトレードオフ最適化問題を定式化する。
  論文  参考訳（メタデータ） (2022-02-06T07:58:41Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)
• Cost-Effective Federated Learning in Mobile Edge Networks [37.16466118235272]
  フェデレートラーニング(FL)は、多くのモバイルデバイスが生データを共有せずに協調的にモデルを学習できる分散ラーニングパラダイムである。 本研究は,モバイルエッジネットワークにおける適応FLの設計手法を解析し,本質的な制御変数を最適に選択し,総コストを最小化する。 我々は,収束関連未知パラメータを学習するために,低コストなサンプリングベースアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-09-12T03:02:24Z)
• Incentive Mechanism Design for Resource Sharing in Collaborative Edge Learning [106.51930957941433]
  5GとBeyondネットワークでは、人工知能のアプリケーションがますます普及すると予想されている。 これは、現在のクラウド中心のモデルトレーニングアプローチから、エッジラーニングとして知られるエッジコンピューティングベースの協調学習スキームへのパラダイムシフトを必要とする。
  論文  参考訳（メタデータ） (2020-05-31T12:45:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。