論文の概要: Federated Learning with Privacy-Preserving Ensemble Attention
Distillation
- arxiv url: http://arxiv.org/abs/2210.08464v1
- Date: Sun, 16 Oct 2022 06:44:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 17:40:08.562426
- Title: Federated Learning with Privacy-Preserving Ensemble Attention
Distillation
- Title(参考訳): プライバシ保護型アンサンブル注意蒸留によるフェデレーション学習
- Authors: Xuan Gong, Liangchen Song, Rishi Vedula, Abhishek Sharma, Meng Zheng,
Benjamin Planche, Arun Innanje, Terrence Chen, Junsong Yuan, David Doermann,
Ziyan Wu
- Abstract要約: Federated Learning(FL)は、多くのローカルノードがトレーニングデータを分散化しながら、中央モデルを協調的にトレーニングする機械学習パラダイムである。
本稿では,未ラベル公開データを利用した一方向オフライン知識蒸留のためのプライバシー保護FLフレームワークを提案する。
我々の技術は、既存のFLアプローチのような分散的で異質なローカルデータを使用するが、より重要なのは、プライバシー漏洩のリスクを著しく低減することです。
- 参考スコア(独自算出の注目度): 63.39442596910485
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) is a machine learning paradigm where many local nodes
collaboratively train a central model while keeping the training data
decentralized. This is particularly relevant for clinical applications since
patient data are usually not allowed to be transferred out of medical
facilities, leading to the need for FL. Existing FL methods typically share
model parameters or employ co-distillation to address the issue of unbalanced
data distribution. However, they also require numerous rounds of synchronized
communication and, more importantly, suffer from a privacy leakage risk. We
propose a privacy-preserving FL framework leveraging unlabeled public data for
one-way offline knowledge distillation in this work. The central model is
learned from local knowledge via ensemble attention distillation. Our technique
uses decentralized and heterogeneous local data like existing FL approaches,
but more importantly, it significantly reduces the risk of privacy leakage. We
demonstrate that our method achieves very competitive performance with more
robust privacy preservation based on extensive experiments on image
classification, segmentation, and reconstruction tasks.
- Abstract(参考訳): Federated Learning(FL)は、多くのローカルノードがトレーニングデータを分散化しながら、中央モデルを協調的にトレーニングする機械学習パラダイムである。
これは、患者データが通常医療施設から転送されることが許されず、FLの必要性が生じるため、臨床応用に特に関係している。
既存のfl法は通常、モデルパラメータを共有するか、不均衡なデータ分散の問題に対処するために共蒸留を用いる。
しかし同時に、多くの同期通信を必要とし、さらに重要なのは、プライバシー漏洩のリスクに悩まされていることだ。
本稿では,非ラベルの公開データを活用したプライバシ保存型flフレームワークを提案する。
中心的なモデルは、アンサンブル注意蒸留を通じて地元の知識から学習される。
この手法では,既存のflアプローチのように分散および異種ローカルデータを使用するが,さらに重要な点として,プライバシリークのリスクを大幅に低減する。
本研究では,画像分類,セグメンテーション,再構成タスクの広範な実験に基づいて,より堅牢なプライバシ保護により極めて競争力のある性能を実現することを示す。
関連論文リスト
- Federated Learning via Input-Output Collaborative Distillation [40.38454921071808]
Federated Learning(FL)は、個別に保持されたプライベートデータを共有せずに、分散ローカルノードが協調的に中央モデルをトレーニングする機械学習パラダイムである。
直接入力と出力空間を利用した局所-中央協調蒸留に基づくデータフリーFLフレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T07:05:13Z) - Federated Learning with Reduced Information Leakage and Computation [20.005520306964485]
フェデレートラーニング(Federated Learning, FL)は、分散学習パラダイムであり、複数の分散クライアントが、ローカルデータを共有せずに共通のモデルを共同で学習することを可能にする。
本稿では,偶数反復毎に一階近似を適用した新しいフェデレーション学習フレームワークであるUpcycled-FLを紹介する。
このフレームワークの下では、FL更新の半分は情報漏洩を発生させることなく、はるかに少ない計算を必要とする。
論文 参考訳(メタデータ) (2023-10-10T06:22:06Z) - PS-FedGAN: An Efficient Federated Learning Framework Based on Partially
Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。
本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。
PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
論文 参考訳(メタデータ) (2023-05-19T05:39:40Z) - Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。
FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。
この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
論文 参考訳(メタデータ) (2023-03-31T10:13:01Z) - Preserving Privacy in Federated Learning with Ensemble Cross-Domain
Knowledge Distillation [22.151404603413752]
Federated Learning(FL)は、ローカルノードが中央モデルを協調的にトレーニングする機械学習パラダイムである。
既存のFLメソッドはモデルパラメータを共有したり、不均衡なデータ分散の問題に対処するために共蒸留を用いるのが一般的である。
我々は,一発のオフライン知識蒸留を用いたFLフレームワークにおいて,プライバシ保護と通信効率のよい手法を開発した。
論文 参考訳(メタデータ) (2022-09-10T05:20:31Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。
モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。
本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
論文 参考訳(メタデータ) (2022-02-14T18:33:12Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Differentially private federated deep learning for multi-site medical
image segmentation [56.30543374146002]
フェデレートラーニング(FL)のような協調機械学習技術は、データ転送なしで効果的に大規模なデータセット上でモデルのトレーニングを可能にする。
近年のイニシアチブでは、FLで訓練されたセグメンテーションモデルが、局所的に訓練されたモデルと同様のパフォーマンスを達成できることが示されている。
しかし、FLは完全なプライバシ保護技術ではなく、プライバシ中心の攻撃は秘密の患者データを開示することができる。
論文 参考訳(メタデータ) (2021-07-06T12:57:32Z) - Privacy-Preserving Self-Taught Federated Learning for Heterogeneous Data [6.545317180430584]
フェデレーテッド・ラーニング(FL)は、各パーティのローカルデータを用いて、データを他人に公開することなく、ディープラーニングモデルのジョイントトレーニングを可能にするために提案された。
本研究では,前述の問題に対処するために,自己学習型フェデレーション学習と呼ばれるFL手法を提案する。
この方法では、潜在変数だけがモデルトレーニングのために他の当事者に送信され、プライバシはアクティベーション、重み、バイアスのデータとパラメータをローカルに保存することで保持される。
論文 参考訳(メタデータ) (2021-02-11T08:07:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。