論文の概要: AdaSplit: Adaptive Trade-offs for Resource-constrained Distributed Deep
Learning
- arxiv url: http://arxiv.org/abs/2112.01637v1
- Date: Thu, 2 Dec 2021 23:33:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 05:37:37.303801
- Title: AdaSplit: Adaptive Trade-offs for Resource-constrained Distributed Deep
Learning
- Title（参考訳）: adasplit: リソース制約付き分散ディープラーニングのための適応的トレードオフ
- Authors: Ayush Chopra, Surya Kant Sahu, Abhishek Singh, Abhinav Java, Praneeth
Vepakomma, Vivek Sharma, Ramesh Raskar
- Abstract要約: Split Learning (SL)は、クライアントとサーバの間でモデルのトレーニングを分割することで、クライアントの計算負荷を削減する。
AdaSplitは、帯域幅の削減と異種クライアント間のパフォーマンス向上により、SLをリソースの少ないシナリオに効率的にスケーリングすることを可能にする。
- 参考スコア（独自算出の注目度）: 18.3841463794885
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Distributed deep learning frameworks like federated learning (FL) and its
variants are enabling personalized experiences across a wide range of web
clients and mobile/IoT devices. However, FL-based frameworks are constrained by
computational resources at clients due to the exploding growth of model
parameters (eg. billion parameter model). Split learning (SL), a recent
framework, reduces client compute load by splitting the model training between
client and server. This flexibility is extremely useful for low-compute setups
but is often achieved at cost of increase in bandwidth consumption and may
result in sub-optimal convergence, especially when client data is
heterogeneous. In this work, we introduce AdaSplit which enables efficiently
scaling SL to low resource scenarios by reducing bandwidth consumption and
improving performance across heterogeneous clients. To capture and benchmark
this multi-dimensional nature of distributed deep learning, we also introduce
C3-Score, a metric to evaluate performance under resource budgets. We validate
the effectiveness of AdaSplit under limited resources through extensive
experimental comparison with strong federated and split learning baselines. We
also present a sensitivity analysis of key design choices in AdaSplit which
validates the ability of AdaSplit to provide adaptive trade-offs across
variable resource budgets.
- Abstract（参考訳）: federated learning(fl)などの分散ディープラーニングフレームワークとその変種は、幅広いwebクライアントとモバイル/iotデバイスでパーソナライズされたエクスペリエンスを実現する。
しかし、flベースのフレームワークはモデルパラメータ(例えば10億のパラメータモデル)が爆発的に増加するため、クライアントの計算資源によって制約されている。
最近のフレームワークであるslit learning(sl)は、モデルトレーニングをクライアントとサーバに分割することで、クライアントの計算負荷を削減する。
この柔軟性は低スループットのセットアップには極めて有用であるが、帯域幅の消費増加のコストでしばしば達成され、特にクライアントデータが不均一である場合、最適以下の収束をもたらす。
本研究では、帯域幅の削減と異種クライアント間の性能向上により、SLを低リソースシナリオに効率よくスケールできるAdaSplitを提案する。
分散ディープラーニングの多次元的な性質を捉え,ベンチマークするために,リソース予算下での性能を評価する指標であるC3-Scoreを導入する。
限られた資源下でのAdaSplitの有効性を、強力なフェデレーションと分割学習ベースラインとの広範な比較実験により検証する。
また,AdaSplitにおける鍵設計選択の感度分析を行い,可変リソース予算間で適応的なトレードオフを提供するAdaSplitの能力を検証する。
関連論文リスト
- Embracing Federated Learning: Enabling Weak Client Participation via Partial Model Training [21.89214794178211]
フェデレートラーニング(FL)では、クライアントは完全なモデルをトレーニングしたり、メモリ空間に保持することができない弱いデバイスを持っているかもしれない。
我々は、すべての利用可能なクライアントが分散トレーニングに参加することを可能にする、一般的なFLフレームワークであるEnbracingFLを提案する。
実験により,FL の導入は,すべてのクライアントが強力であるように常に高い精度を達成し,最先端の幅削減手法よりも優れていた。
論文 参考訳（メタデータ） (2024-06-21T13:19:29Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Effectively Heterogeneous Federated Learning: A Pairing and Split
Learning Based Approach [16.093068118849246]
本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。
グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。
シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
論文 参考訳（メタデータ） (2023-08-26T11:10:54Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - When Computing Power Network Meets Distributed Machine Learning: An
Efficient Federated Split Learning Framework [6.871107511111629]
CPN-FedSLはComputer Power Network (CPN)上のFederated Split Learning (FedSL)フレームワークである。
私たちは、基本的な設定と学習特性(例えば、レイテンシ、フロー、収束)をキャプチャする専用のモデルを構築します。
論文 参考訳（メタデータ） (2023-05-22T12:36:52Z) - Efficient Parallel Split Learning over Resource-constrained Wireless
Edge Networks [44.37047471448793]
本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。
そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。
提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
論文 参考訳（メタデータ） (2023-03-26T16:09:48Z) - PFSL: Personalized & Fair Split Learning with Data & Label Privacy for
thin clients [0.5144809478361603]
PFSLは分散分割学習の新しいフレームワークであり、多数のシンクライアントが並列にトランスファー学習を行う。
クライアントモデルのパーソナライズを行うための軽量なステップを実装し,それぞれのデータ分布に対して高いパフォーマンスを実現する。
我々の精度は現在のアルゴリズムSLをはるかに上回り、いくつかの実生活ベンチマークにおける集中学習に非常に近い。
論文 参考訳（メタデータ） (2023-03-19T10:38:29Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated
Split Learning [56.125720497163684]
無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。
ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
論文 参考訳（メタデータ） (2022-09-02T10:29:56Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。