論文の概要: AdaptCL: Efficient Collaborative Learning with Dynamic and Adaptive
Pruning
- arxiv url: http://arxiv.org/abs/2106.14126v1
- Date: Sun, 27 Jun 2021 02:41:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-29 17:46:00.504187
- Title: AdaptCL: Efficient Collaborative Learning with Dynamic and Adaptive
Pruning
- Title(参考訳): AdaptCL: 動的および適応型プルーニングによる効率的な協調学習
- Authors: Guangmeng Zhou, Ke Xu, Qi Li, Yang Liu, Yi Zhao
- Abstract要約: 本稿では,AdaptCLという新しい協調学習フレームワークを提案する。
すべてのワーカ(データホルダ)は、機能適応型プルーンドモデルを備えて、最も高速なワーカとほぼ同じ更新時間を達成する。
AdaptCLは平均して41%以上の時間節約を実現し、低異種環境における精度を向上させる。
- 参考スコア(独自算出の注目度): 16.785573286753742
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In multi-party collaborative learning, the parameter server sends a global
model to each data holder for local training and then aggregates committed
models globally to achieve privacy protection. However, both the dragger issue
of synchronous collaborative learning and the staleness issue of asynchronous
collaborative learning make collaborative learning inefficient in real-world
heterogeneous environments. We propose a novel and efficient collaborative
learning framework named AdaptCL, which generates an adaptive sub-model
dynamically from the global base model for each data holder, without any prior
information about worker capability. All workers (data holders) achieve
approximately identical update time as the fastest worker by equipping them
with capability-adapted pruned models. Thus the training process can be
dramatically accelerated. Besides, we tailor the efficient pruned rate learning
algorithm and pruning approach for AdaptCL. Meanwhile, AdaptCL provides a
mechanism for handling the trade-off between accuracy and time overhead and can
be combined with other techniques to accelerate training further. Empirical
results show that AdaptCL introduces little computing and communication
overhead. AdaptCL achieves time savings of more than 41\% on average and
improves accuracy in a low heterogeneous environment. In a highly heterogeneous
environment, AdaptCL achieves a training speedup of 6.2x with a slight loss of
accuracy.
- Abstract(参考訳): マルチパーティ協調学習では、パラメータサーバは、ローカルトレーニングのために各データホルダにグローバルモデルを送り、プライバシ保護を達成するために、コミットされたモデルをグローバルに集約する。
しかし、同期協調学習のドラガー問題と非同期協調学習の停滞問題は、実世界の異種環境において協調学習を非効率にする。
本稿では,各データホルダのグローバルベースモデルから動的に適応型サブモデルを生成するadaptclという,新しい効率的な協調学習フレームワークを提案する。
すべてのワーカ(データホルダ)は、能力適応型プルーンドモデルを備えて、最も速いワーカとほぼ同じ更新時間を達成する。
これにより、トレーニングプロセスが劇的に加速される。
さらに,高効率なprunedレート学習アルゴリズムとadaptclのpruningアプローチを調整した。
一方、AdaptCLは精度と時間オーバーヘッドの間のトレードオフを処理するメカニズムを提供し、トレーニングをさらに加速する他のテクニックと組み合わせることができる。
実証的な結果から、AdaptCLは計算と通信のオーバーヘッドが少ないことが分かる。
adaptclは平均で41\%以上の時間節約を達成し、低異種環境における精度を向上させる。
非常に異質な環境では、AdaptCLはトレーニングのスピードアップを6.2倍にし、精度はわずかに低下する。
関連論文リスト
- FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - Serverless Federated AUPRC Optimization for Multi-Party Collaborative
Imbalanced Data Mining [119.89373423433804]
有効指標としてAUPRC(Area Under Precision-Recall)を導入した。
サーバーレスのマルチパーティ共同トレーニングは、サーバーノードのボトルネックを避けることで通信コストを削減できる。
本稿では,AUPRCを直接最適化する ServerLess biAsed sTochastic gradiEnt (SLATE) アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-08-06T06:51:32Z) - Efficient Semi-Supervised Federated Learning for Heterogeneous
Participants [23.664515443297674]
そこで本研究では,SFLをクラスタリング正規化して,未ラベルおよび非IIDクライアントデータを用いたより実践的なシナリオ下でSFLを実行する,新しいセミSFLシステムを提案する。
我々のシステムは、トレーニングデータセットの3.0倍のスピードアップを提供し、通信コストを目標精度まで約70.3%削減する。
論文 参考訳(メタデータ) (2023-07-29T02:35:37Z) - Straggler-Resilient Decentralized Learning via Adaptive Asynchronous
Updates [12.075207097903203]
完全に分散化された最適化手法は、人気のあるパラメータサーバフレームワークに代わるものとして提唱されている。
本稿では、各労働者が通信する近隣労働者の数を適応的に決定することで、適応的な非同期更新を施した完全に分散化されたアルゴリズムを提案する。
我々は、DSGD-AAUが収束の線形高速化を達成することを示す(つまり、労働者数に対して収束性能が線形的に増加する)。
論文 参考訳(メタデータ) (2023-06-11T02:08:59Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳(メタデータ) (2023-02-24T08:41:19Z) - Optimizing Server-side Aggregation For Robust Federated Learning via
Subspace Training [80.03567604524268]
クライアント間の非IIDデータ分散と中毒攻撃は、現実世界のフェデレーション学習システムにおける2つの大きな課題である。
サーバ側集約プロセスを最適化する汎用的なアプローチであるSmartFLを提案する。
本稿では,SmartFLの収束と一般化能力に関する理論的解析を行う。
論文 参考訳(メタデータ) (2022-11-10T13:20:56Z) - Contextual Squeeze-and-Excitation for Efficient Few-Shot Image
Classification [57.36281142038042]
本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。
また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
論文 参考訳(メタデータ) (2022-06-20T15:25:08Z) - Real-time End-to-End Federated Learning: An Automotive Case Study [16.79939549201032]
本稿では,新しい非同期モデルアグリゲーションプロトコルと組み合わさったリアルタイムエンドツーエンドフェデレーション学習のアプローチを提案する。
その結果,非同期フェデレーション学習は,局所エッジモデルの予測性能を大幅に向上させ,集中型機械学習法と同じ精度に到達できることがわかった。
論文 参考訳(メタデータ) (2021-03-22T14:16:16Z) - Server Averaging for Federated Learning [14.846231685735592]
フェデレーションラーニングにより、分散デバイスは、ローカルデータセットを中央サーバーで共有または開示することなく、モデルをまとめてトレーニングできます。
フェデレーション学習のプライバシの改善は、より高い計算と通信コストを含む課題も導入する。
収束を加速するサーバ平均化アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-03-22T07:07:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。