論文の概要: Scalable Collaborative Learning via Representation Sharing
- arxiv url: http://arxiv.org/abs/2211.10943v1
- Date: Sun, 20 Nov 2022 10:49:22 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 18:29:44.038718
- Title: Scalable Collaborative Learning via Representation Sharing
- Title（参考訳）: 表現共有によるスケーラブルな協調学習
- Authors: Fr\'ed\'eric Berdoz, Abhishek Singh, Martin Jaggi and Ramesh Raskar
- Abstract要約: フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
- 参考スコア（独自算出の注目度）: 53.047460465980144
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Privacy-preserving machine learning has become a key conundrum for
multi-party artificial intelligence. Federated learning (FL) and Split Learning
(SL) are two frameworks that enable collaborative learning while keeping the
data private (on device). In FL, each data holder trains a model locally and
releases it to a central server for aggregation. In SL, the clients must
release individual cut-layer activations (smashed data) to the server and wait
for its response (during both inference and back propagation). While relevant
in several settings, both of these schemes have a high communication cost, rely
on server-level computation algorithms and do not allow for tunable levels of
collaboration. In this work, we present a novel approach for privacy-preserving
machine learning, where the clients collaborate via online knowledge
distillation using a contrastive loss (contrastive w.r.t. the labels). The goal
is to ensure that the participants learn similar features on similar classes
without sharing their input data. To do so, each client releases averaged last
hidden layer activations of similar labels to a central server that only acts
as a relay (i.e., is not involved in the training or aggregation of the
models). Then, the clients download these last layer activations (feature
representations) of the ensemble of users and distill their knowledge in their
personal model using a contrastive objective. For cross-device applications
(i.e., small local datasets and limited computational capacity), this approach
increases the utility of the models compared to independent learning and other
federated knowledge distillation (FD) schemes, is communication efficient and
is scalable with the number of clients. We prove theoretically that our
framework is well-posed, and we benchmark its performance against standard FD
and FL on various datasets using different model architectures.
- Abstract（参考訳）: プライバシー保護型機械学習は、多人数の人工知能にとって重要な課題となっている。
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
flでは、各データホルダはモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
slでは、クライアントは個々のカットレイヤアクティベーション(smashed data)をサーバにリリースし、応答を待つ必要がある(推論とバック伝播の両方で)。
いくつかの設定に関連があるが、これらのスキームはどちらも通信コストが高く、サーバレベルの計算アルゴリズムに依存しており、調整可能なコラボレーションを許さない。
本研究では、クライアントが対照的な損失(ラベルとは対照的に)を用いてオンライン知識蒸留を通じて協調する、プライバシー保護機械学習の新しいアプローチを提案する。
目標は、参加者が入力データを共有せずに、同様の機能を同じクラスで学べるようにすることだ。
そのため、各クライアントは、リレーとしてのみ動作する中央サーバ(モデルのトレーニングやアグリゲーションには関与していない)に対して、類似ラベルの最後に隠されたレイヤアクティベーションを平均的にリリースする。
そして、クライアントは、ユーザのアンサンブルの最後のレイヤアクティベーション(機能表現)をダウンロードし、対照的な目的を用いて、自身の個人モデルで知識を抽出する。
デバイス間アプリケーション(例えば、小さなローカルデータセットと限られた計算能力)の場合、このアプローチは独立学習やその他の連合知識蒸留(FD)方式と比較してモデルの実用性を高め、通信効率が良く、クライアント数にスケーラブルである。
理論的には、我々のフレームワークは十分に提案されていることを証明し、異なるモデルアーキテクチャを用いて様々なデータセット上で標準FDとFLのパフォーマンスをベンチマークする。
関連論文リスト
- Personalized federated learning based on feature fusion [2.943623084019036]
フェデレートされた学習により、分散クライアントは、クライアントのプライバシを保護するためにデータをローカルに保存しながら、トレーニングで協力することができる。
pFedPMと呼ばれる個人化学習手法を提案する。
このプロセスでは、従来のグラデーションアップロードを機能アップロードに置き換え、通信コストを削減し、異種クライアントモデルを可能にする。
論文 参考訳（メタデータ） (2024-06-24T12:16:51Z) - Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳（メタデータ） (2024-02-28T03:27:10Z) - PFSL: Personalized & Fair Split Learning with Data & Label Privacy for
thin clients [0.5144809478361603]
PFSLは分散分割学習の新しいフレームワークであり、多数のシンクライアントが並列にトランスファー学習を行う。
クライアントモデルのパーソナライズを行うための軽量なステップを実装し,それぞれのデータ分布に対して高いパフォーマンスを実現する。
我々の精度は現在のアルゴリズムSLをはるかに上回り、いくつかの実生活ベンチマークにおける集中学習に非常に近い。
論文 参考訳（メタデータ） (2023-03-19T10:38:29Z) - Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。
既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。
そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文 参考訳（メタデータ） (2023-02-24T04:29:44Z) - FedHP: Heterogeneous Federated Learning with Privacy-preserving [0.0]
フェデレーション学習は分散機械学習環境であり、パラメータを交換するだけで、クライアントがプライベートデータを共有せずにコラボレーティブなトレーニングを完了できるようにする。
本稿では,事前学習されたモデルをバックボーンとして,完全に接続されたレイヤをヘッドとして構成する,新しいフェデレーション学習手法を提案する。
勾配空間に基づくパラメータではなく、クラスの埋め込みベクトルを共有することで、クライアントはプライベートデータにより適応でき、サーバとクライアント間の通信においてより効率的になります。
論文 参考訳（メタデータ） (2023-01-27T13:32:17Z) - Distributed Unsupervised Visual Representation Learning with Fused
Features [13.935997509072669]
フェデレートラーニング(FL)により、分散クライアントは、各クライアントにトレーニングデータをローカルに保持しながら、予測のための共有モデルを学ぶことができる。
本稿では,特徴融合と近傍マッチングという2つのアプローチからなる相互比較学習フレームワークを提案する。
IIDデータでは、他の手法よりも11%優れており、集中学習のパフォーマンスに匹敵する。
論文 参考訳（メタデータ） (2021-11-21T08:36:31Z) - An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。
本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。
我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文 参考訳（メタデータ） (2021-11-19T12:58:59Z) - Multimodal Federated Learning [9.081857621783811]
IoTデバイスを備えたスマートホームなど、多くのアプリケーションでは、クライアント上のローカルデータは、さまざまなモダリティから生成される。
既存のフェデレーション学習システムは、単一のモダリティからのローカルデータのみを扱うため、システムのスケーラビリティが制限される。
本稿では,クライアント上で異なるローカルデータモダリティから共有あるいは相関表現を抽出するよう,オートエンコーダを訓練するマルチモーダル・セミ教師付きフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-10T12:32:46Z) - FedKD: Communication Efficient Federated Learning via Knowledge
Distillation [56.886414139084216]
フェデレーション学習は、分散データからインテリジェントモデルを学ぶために広く使用されている。
フェデレートラーニングでは、クライアントはモデルラーニングの各イテレーションでローカルモデルの更新を伝える必要がある。
本稿では,知識蒸留に基づくコミュニケーション効率のよいフェデレーション学習手法を提案する。
論文 参考訳（メタデータ） (2021-08-30T15:39:54Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳（メタデータ） (2020-06-12T14:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。