論文の概要: Advancements of federated learning towards privacy preservation: from
federated learning to split learning
- arxiv url: http://arxiv.org/abs/2011.14818v1
- Date: Wed, 25 Nov 2020 05:01:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 02:30:25.473359
- Title: Advancements of federated learning towards privacy preservation: from
federated learning to split learning
- Title（参考訳）: プライバシー保護に向けた連合学習の進展--連合学習から分割学習へ
- Authors: Chandra Thapa and M.A.P. Chamikara and Seyit A. Camtepe
- Abstract要約: 分散コラボレーティブ機械学習(DCML)パラダイムにおいて、フェデレーテッド・ラーニング(FL)は、健康、金融、業界 4.0 やスマート車といった最新のイノベーションの応用により、最近多くの注目を集めた。
現実的なシナリオでは、すべてのクライアントは十分なコンピューティングリソース(例えばモノのインターネット)を持っておらず、機械学習モデルには数百万のパラメータがあり、サーバとクライアントの間のプライバシは主要な関心事である。
近年、FLとSLのハイブリッドであるスプリット・ラーニングを導入し、FL(より速いトレーニング/テスト時間)とSL(モデル分割時間)の両方の利点を高めている。
- 参考スコア（独自算出の注目度）: 1.3700362496838854
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In the distributed collaborative machine learning (DCML) paradigm, federated
learning (FL) recently attracted much attention due to its applications in
health, finance, and the latest innovations such as industry 4.0 and smart
vehicles. FL provides privacy-by-design. It trains a machine learning model
collaboratively over several distributed clients (ranging from two to millions)
such as mobile phones, without sharing their raw data with any other
participant. In practical scenarios, all clients do not have sufficient
computing resources (e.g., Internet of Things), the machine learning model has
millions of parameters, and its privacy between the server and the clients
while training/testing is a prime concern (e.g., rival parties). In this
regard, FL is not sufficient, so split learning (SL) is introduced. SL is
reliable in these scenarios as it splits a model into multiple portions,
distributes them among clients and server, and trains/tests their respective
model portions to accomplish the full model training/testing. In SL, the
participants do not share both data and their model portions to any other
parties, and usually, a smaller network portion is assigned to the clients
where data resides. Recently, a hybrid of FL and SL, called splitfed learning,
is introduced to elevate the benefits of both FL (faster training/testing time)
and SL (model split and training). Following the developments from FL to SL,
and considering the importance of SL, this chapter is designed to provide
extensive coverage in SL and its variants. The coverage includes fundamentals,
existing findings, integration with privacy measures such as differential
privacy, open problems, and code implementation.
- Abstract（参考訳）: 分散コラボレーティブ機械学習(DCML)パラダイムにおいて、フェデレーテッド・ラーニング(FL)は、健康、金融、業界 4.0 やスマート車といった最新のイノベーションの応用により、最近多くの注目を集めた。
FLはプライバシ・バイ・デザインを提供する。
携帯電話など、複数の分散クライアント(200から数百万まで)上で、生データを他の参加者と共有することなく、機械学習モデルを協調的にトレーニングする。
実際のシナリオでは、すべてのクライアントは十分なコンピューティングリソース(例えば、モノのインターネット)を持っておらず、機械学習モデルは数百万のパラメータを持ち、トレーニング/テストが主要な関心事(例えばライバル)である間、サーバとクライアントの間のプライバシを持っている。
この場合、FLは不十分であり、分割学習(SL)が導入される。
SLは、モデルを複数の部分に分割し、クライアントとサーバに分散し、各モデルのパーツをトレーニング/テストすることで、完全なモデルのトレーニング/テストを実現します。
slでは、参加者はデータとモデル部分の両方を他の当事者と共有せず、通常、より小さなネットワーク部分はデータが存在しているクライアントに割り当てられる。
近年、FLとSLのハイブリッドは、FL(より速いトレーニング/テスト時間)とSL(モデル分割とトレーニング)の両方の利点を高めるために、分割学習と呼ばれる。
FLからSLへの発展とSLの重要性を考慮すると、この章はSLとその変種を広範囲にカバーするように設計されている。
カバー範囲には、基本、既存の発見、差分プライバシー、オープン問題、コード実装などのプライバシー対策との統合が含まれる。
関連論文リスト
- A Survey on Efficient Federated Learning Methods for Foundation Model
Training [66.19763977571114]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳（メタデータ） (2024-01-09T10:22:23Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - PFSL: Personalized & Fair Split Learning with Data & Label Privacy for
thin clients [0.5144809478361603]
PFSLは分散分割学習の新しいフレームワークであり、多数のシンクライアントが並列にトランスファー学習を行う。
クライアントモデルのパーソナライズを行うための軽量なステップを実装し,それぞれのデータ分布に対して高いパフォーマンスを実現する。
我々の精度は現在のアルゴリズムSLをはるかに上回り、いくつかの実生活ベンチマークにおける集中学習に非常に近い。
論文 参考訳（メタデータ） (2023-03-19T10:38:29Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Federated Learning and Meta Learning: Approaches, Applications, and
Directions [94.68423258028285]
本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。
他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
論文 参考訳（メタデータ） (2022-10-24T10:59:29Z) - Server-Side Local Gradient Averaging and Learning Rate Acceleration for
Scalable Split Learning [82.06357027523262]
フェデレーテッド・ラーニング(FL)とスプリット・ラーニング(SL)は、その長所と短所を持つ2つの先駆者であり、多くのユーザ・クライアントや大規模モデルに適している。
本研究では,まずSLの基本ボトルネックを特定し,SGLRという拡張性のあるSLフレームワークを提案する。
論文 参考訳（メタデータ） (2021-12-11T08:33:25Z) - Splitfed learning without client-side synchronization: Analyzing
client-side split network portion size to overall performance [4.689140226545214]
Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。
本稿では,クライアント側モデル同期を必要としないSFLについて検討する。
MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
論文 参考訳（メタデータ） (2021-09-19T22:57:23Z) - IPLS : A Framework for Decentralized Federated Learning [6.6271520914941435]
IPLSは、惑星間ファイルシステム(IPFS)を部分的にベースとする完全分散型のフェデレーション学習フレームワークです。
IPLSは、参加者数に応じてスケールし、断続接続や動的入場/到着に対して堅牢であり、最小限のリソースを必要とし、トレーニングされたモデルの精度が1000分の1の精度低下を伴う集中FLフレームワークの精度に迅速に収束することを保証する。
論文 参考訳（メタデータ） (2021-01-06T07:44:51Z) - Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。
実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2020-06-27T09:35:03Z) - SplitFed: When Federated Learning Meets Split Learning [16.212941272007285]
フェデレートラーニング(FL)とスプリットラーニング(SL)は2つの人気のある分散機械学習アプローチである。
本稿では,2つのアプローチを両立させるスプリットフッドラーニング(SFL)という新しいアプローチを提案する。
SFLは、SLと同等のテスト精度と通信効率を提供すると同時に、複数のクライアントに対するSLよりも、グローバルエポックあたりの計算時間を著しく削減する。
論文 参考訳（メタデータ） (2020-04-25T08:52:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。