Fugu-MT 論文翻訳(概要): Server-Side Local Gradient Averaging and Learning Rate Acceleration for Scalable Split Learning

論文の概要: Server-Side Local Gradient Averaging and Learning Rate Acceleration for Scalable Split Learning

arxiv url: http://arxiv.org/abs/2112.05929v1
Date: Sat, 11 Dec 2021 08:33:25 GMT
ステータス: 処理完了
システム内更新日: 2021-12-14 15:07:46.566628
Title: Server-Side Local Gradient Averaging and Learning Rate Acceleration for Scalable Split Learning
Title（参考訳）: スケーラブルスプリットラーニングのためのサーバサイド局所勾配平均化と学習速度加速
Authors: Shraman Pal, Mansi Uniyal, Jihong Park, Praneeth Vepakomma, Ramesh Raskar, Mehdi Bennis, Moongu Jeon, Jinho Choi
Abstract要約: フェデレーテッド・ラーニング(FL)とスプリット・ラーニング(SL)は、その長所と短所を持つ2つの先駆者であり、多くのユーザ・クライアントや大規模モデルに適している。本研究では,まずSLの基本ボトルネックを特定し,SGLRという拡張性のあるSLフレームワークを提案する。
参考スコア（独自算出の注目度）: 82.06357027523262
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In recent years, there have been great advances in the field of decentralized learning with private data. Federated learning (FL) and split learning (SL) are two spearheads possessing their pros and cons, and are suited for many user clients and large models, respectively. To enjoy both benefits, hybrid approaches such as SplitFed have emerged of late, yet their fundamentals have still been illusive. In this work, we first identify the fundamental bottlenecks of SL, and thereby propose a scalable SL framework, coined SGLR. The server under SGLR broadcasts a common gradient averaged at the split-layer, emulating FL without any additional communication across clients as opposed to SplitFed. Meanwhile, SGLR splits the learning rate into its server-side and client-side rates, and separately adjusts them to support many clients in parallel. Simulation results corroborate that SGLR achieves higher accuracy than other baseline SL methods including SplitFed, which is even on par with FL consuming higher energy and communication costs. As a secondary result, we observe greater reduction in leakage of sensitive information via mutual information using SLGR over the baselines.
Abstract（参考訳）: 近年,個人データを用いた分散学習の分野において,大きな進歩を遂げている。連合学習 (federated learning, fl) とスプリット学習 (sl) は2つの先駆的概念であり,多くのユーザクライアントと大規模モデルに適している。両方の利点を享受するために、splitfedのようなハイブリッドアプローチが最近登場したが、その基本はいまだに幻想的だ。本研究では,まずSLの基本ボトルネックを特定し,SGLRという拡張性のあるSLフレームワークを提案する。 SGLRのサーバは分割層で平均される共通勾配を放送し、SplitFedとは対照的にクライアント間で追加の通信をせずにFLをエミュレートする。一方、SGLRは学習率をサーバサイドとクライアントサイドに分割し、複数のクライアントを並行してサポートするように個別に調整する。シミュレーションの結果,SGLR は SplitFed を含む他のベースライン SL 法よりも高い精度でエネルギーと通信コストを消費するFL と同等であることがわかった。二次的な結果として,ベースライン上のSLGRを用いた相互情報によるセンシティブ情報漏洩の増大が観察された。

関連論文リスト

FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Split Unlearning [23.380995944550484]
スプリット学習(SL)におけるSISAベースの機械アンラーニング(SP'21)の実現により、実用的なスプリット・アンラーニング・フレームワークを提案し、実装し、評価する。既存のSLメソッドがSISAの"Isolated"原則を損なう問題に対処するため、SLの固有の"Sharded"構造を利用するSplitWiperとSplitWiper+を導入する。我々の設計では、クライアントとサーバ間のニューラルネットワークの伝搬を分離し、SplitWiperにおけるSISAベースのアンラーニングを可能にする。
論文参考訳（メタデータ） (2023-08-21T02:16:29Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文参考訳（メタデータ） (2023-02-24T04:29:44Z)
Communication and Storage Efficient Federated Split Learning [19.369076939064904]
Federated Split LearningはFLの並列モデルトレーニング原則を保存する。サーバはクライアントごとに別々のモデルをメンテナンスしなければなりません。本稿では,コミュニケーションと記憶の効率的なフェデレーションと分割学習戦略を提案する。
論文参考訳（メタデータ） (2023-02-11T04:44:29Z)
Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文参考訳（メタデータ） (2022-11-20T10:49:22Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)
Splitfed learning without client-side synchronization: Analyzing client-side split network portion size to overall performance [4.689140226545214]
Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。本稿では,クライアント側モデル同期を必要としないSFLについて検討する。 MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
論文参考訳（メタデータ） (2021-09-19T22:57:23Z)
Advancements of federated learning towards privacy preservation: from federated learning to split learning [1.3700362496838854]
分散コラボレーティブ機械学習(DCML)パラダイムにおいて、フェデレーテッド・ラーニング(FL)は、健康、金融、業界 4.0 やスマート車といった最新のイノベーションの応用により、最近多くの注目を集めた。現実的なシナリオでは、すべてのクライアントは十分なコンピューティングリソース(例えばモノのインターネット)を持っておらず、機械学習モデルには数百万のパラメータがあり、サーバとクライアントの間のプライバシは主要な関心事である。近年、FLとSLのハイブリッドであるスプリット・ラーニングを導入し、FL(より速いトレーニング/テスト時間)とSL(モデル分割時間)の両方の利点を高めている。
論文参考訳（メタデータ） (2020-11-25T05:01:33Z)
SplitFed: When Federated Learning Meets Split Learning [16.212941272007285]
フェデレートラーニング(FL)とスプリットラーニング(SL)は2つの人気のある分散機械学習アプローチである。本稿では,2つのアプローチを両立させるスプリットフッドラーニング(SFL)という新しいアプローチを提案する。 SFLは、SLと同等のテスト精度と通信効率を提供すると同時に、複数のクライアントに対するSLよりも、グローバルエポックあたりの計算時間を著しく削減する。
論文参考訳（メタデータ） (2020-04-25T08:52:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。