Fugu-MT 論文翻訳(概要): AdaptCL: Efficient Collaborative Learning with Dynamic and Adaptive Pruning

論文の概要: AdaptCL: Efficient Collaborative Learning with Dynamic and Adaptive Pruning

arxiv url: http://arxiv.org/abs/2106.14126v1
Date: Sun, 27 Jun 2021 02:41:19 GMT
ステータス: 処理完了
システム内更新日: 2021-06-29 17:46:00.504187
Title: AdaptCL: Efficient Collaborative Learning with Dynamic and Adaptive Pruning
Title（参考訳）: AdaptCL: 動的および適応型プルーニングによる効率的な協調学習
Authors: Guangmeng Zhou, Ke Xu, Qi Li, Yang Liu, Yi Zhao
Abstract要約: 本稿では,AdaptCLという新しい協調学習フレームワークを提案する。すべてのワーカ(データホルダ)は、機能適応型プルーンドモデルを備えて、最も高速なワーカとほぼ同じ更新時間を達成する。 AdaptCLは平均して41%以上の時間節約を実現し、低異種環境における精度を向上させる。
参考スコア（独自算出の注目度）: 16.785573286753742
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In multi-party collaborative learning, the parameter server sends a global model to each data holder for local training and then aggregates committed models globally to achieve privacy protection. However, both the dragger issue of synchronous collaborative learning and the staleness issue of asynchronous collaborative learning make collaborative learning inefficient in real-world heterogeneous environments. We propose a novel and efficient collaborative learning framework named AdaptCL, which generates an adaptive sub-model dynamically from the global base model for each data holder, without any prior information about worker capability. All workers (data holders) achieve approximately identical update time as the fastest worker by equipping them with capability-adapted pruned models. Thus the training process can be dramatically accelerated. Besides, we tailor the efficient pruned rate learning algorithm and pruning approach for AdaptCL. Meanwhile, AdaptCL provides a mechanism for handling the trade-off between accuracy and time overhead and can be combined with other techniques to accelerate training further. Empirical results show that AdaptCL introduces little computing and communication overhead. AdaptCL achieves time savings of more than 41\% on average and improves accuracy in a low heterogeneous environment. In a highly heterogeneous environment, AdaptCL achieves a training speedup of 6.2x with a slight loss of accuracy.
Abstract（参考訳）: マルチパーティ協調学習では、パラメータサーバは、ローカルトレーニングのために各データホルダにグローバルモデルを送り、プライバシ保護を達成するために、コミットされたモデルをグローバルに集約する。しかし、同期協調学習のドラガー問題と非同期協調学習の停滞問題は、実世界の異種環境において協調学習を非効率にする。本稿では,各データホルダのグローバルベースモデルから動的に適応型サブモデルを生成するadaptclという,新しい効率的な協調学習フレームワークを提案する。すべてのワーカ(データホルダ)は、能力適応型プルーンドモデルを備えて、最も速いワーカとほぼ同じ更新時間を達成する。これにより、トレーニングプロセスが劇的に加速される。さらに,高効率なprunedレート学習アルゴリズムとadaptclのpruningアプローチを調整した。一方、AdaptCLは精度と時間オーバーヘッドの間のトレードオフを処理するメカニズムを提供し、トレーニングをさらに加速する他のテクニックと組み合わせることができる。実証的な結果から、AdaptCLは計算と通信のオーバーヘッドが少ないことが分かる。 adaptclは平均で41\%以上の時間節約を達成し、低異種環境における精度を向上させる。非常に異質な環境では、AdaptCLはトレーニングのスピードアップを6.2倍にし、精度はわずかに低下する。

関連論文リスト

Collaborative and Efficient Personalization with Mixtures of Adaptors [5.195669033269619]
マルチタスク学習問題に対処するパラメータ効率の枠組みを提案する。 FLoRAL(Federated Low-Rank Adaptive Learning)と呼ぶフレームワークがあります。人工データセットと実世界のフェデレートされたマルチタスク問題に関する有望な実験結果を示す。
論文参考訳（メタデータ） (2024-10-04T15:11:15Z)
Adaptive Adapter Routing for Long-Tailed Class-Incremental Learning [55.384428765798496]
新しいデータは、Eコマースプラットフォームレビューのような、長期にわたる流通を示す。これは、忘れずに不均衡なデータを連続的なモデルで学習する必要がある。 LTCILの例として,AdaPtive Adapter Routing (APART) を提案する。
論文参考訳（メタデータ） (2024-09-11T17:52:00Z)
Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data [59.6985168241067]
フェデレートラーニング(FL)は、低トレーニング効率と限られた計算資源の2つの重要な問題に遭遇する。本稿では,サーバ上の共有不感データとエッジデバイスの分散データを活用するための新しいFLフレームワークであるFedDUMAPを提案する。提案するFLモデルであるFedDUMAPは,従来の3つの手法を組み合わせることで,ベースラインアプローチと比較して性能が大幅に向上した。
論文参考訳（メタデータ） (2024-08-11T02:59:11Z)
FedAST: Federated Asynchronous Simultaneous Training [27.492821176616815]
フェデレートラーニング(FL)は、デバイスやクライアントがプライベートデータを共有せずに機械学習(ML)モデルを協調的にトレーニングすることを可能にする。 FLにおける既存の作業の多くは、1つのタスクのモデルを効率的に学習することに集中しています。本稿では,共通データセットを用いた複数のFLモデルの同時学習を提案する。
論文参考訳（メタデータ） (2024-06-01T05:14:20Z)
Loop Improvement: An Efficient Approach for Extracting Shared Features from Heterogeneous Data without Central Server [16.249442761713322]
LI(Loop Improvement)は、この分離と特徴抽出を、参加者間の中央サーバやデータ交換を必要とせずに強化する新しい手法である。パーソナライズされたフェデレーション学習環境では、LIは様々なシナリオで高度なFedALAアルゴリズムよりも精度が高い。 LIの適応性はマルチタスク学習にまで拡張され、タスク間で共通の機能の抽出が合理化され、同時にトレーニングする必要がなくなる。
論文参考訳（メタデータ） (2024-03-21T12:59:24Z)
Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
論文参考訳（メタデータ） (2024-03-18T08:00:23Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
FilFL: Client Filtering for Optimized Client Participation in Federated Learning [71.46173076298957]
フェデレートラーニングは、クライアントがローカルデータを交換することなく、協調的にモデルをトレーニングすることを可能にする。トレーニングプロセスに参加するクライアントは、収束率、学習効率、モデル一般化に大きな影響を与えます。本稿では,モデル一般化を改善し,クライアント参加とトレーニングを最適化する新しい手法であるクライアントフィルタリングを提案する。
論文参考訳（メタデータ） (2023-02-13T18:55:31Z)
Real-time End-to-End Federated Learning: An Automotive Case Study [16.79939549201032]
本稿では,新しい非同期モデルアグリゲーションプロトコルと組み合わさったリアルタイムエンドツーエンドフェデレーション学習のアプローチを提案する。その結果,非同期フェデレーション学習は,局所エッジモデルの予測性能を大幅に向上させ,集中型機械学習法と同じ精度に到達できることがわかった。
論文参考訳（メタデータ） (2021-03-22T14:16:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。