論文の概要: Federated Learning with Privacy-Preserving Ensemble Attention Distillation

• arxiv url: http://arxiv.org/abs/2210.08464v1
• Date: Sun, 16 Oct 2022 06:44:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 17:40:08.562426
• Title: Federated Learning with Privacy-Preserving Ensemble Attention Distillation
• Title（参考訳）: プライバシ保護型アンサンブル注意蒸留によるフェデレーション学習
• Authors: Xuan Gong, Liangchen Song, Rishi Vedula, Abhishek Sharma, Meng Zheng, Benjamin Planche, Arun Innanje, Terrence Chen, Junsong Yuan, David Doermann, Ziyan Wu
• Abstract要約: Federated Learning(FL)は、多くのローカルノードがトレーニングデータを分散化しながら、中央モデルを協調的にトレーニングする機械学習パラダイムである。 本稿では,未ラベル公開データを利用した一方向オフライン知識蒸留のためのプライバシー保護FLフレームワークを提案する。 我々の技術は、既存のFLアプローチのような分散的で異質なローカルデータを使用するが、より重要なのは、プライバシー漏洩のリスクを著しく低減することです。
• 参考スコア（独自算出の注目度）: 63.39442596910485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) is a machine learning paradigm where many local nodes collaboratively train a central model while keeping the training data decentralized. This is particularly relevant for clinical applications since patient data are usually not allowed to be transferred out of medical facilities, leading to the need for FL. Existing FL methods typically share model parameters or employ co-distillation to address the issue of unbalanced data distribution. However, they also require numerous rounds of synchronized communication and, more importantly, suffer from a privacy leakage risk. We propose a privacy-preserving FL framework leveraging unlabeled public data for one-way offline knowledge distillation in this work. The central model is learned from local knowledge via ensemble attention distillation. Our technique uses decentralized and heterogeneous local data like existing FL approaches, but more importantly, it significantly reduces the risk of privacy leakage. We demonstrate that our method achieves very competitive performance with more robust privacy preservation based on extensive experiments on image classification, segmentation, and reconstruction tasks.
• Abstract（参考訳）: Federated Learning(FL)は、多くのローカルノードがトレーニングデータを分散化しながら、中央モデルを協調的にトレーニングする機械学習パラダイムである。 これは、患者データが通常医療施設から転送されることが許されず、FLの必要性が生じるため、臨床応用に特に関係している。 既存のfl法は通常、モデルパラメータを共有するか、不均衡なデータ分散の問題に対処するために共蒸留を用いる。 しかし同時に、多くの同期通信を必要とし、さらに重要なのは、プライバシー漏洩のリスクに悩まされていることだ。 本稿では,非ラベルの公開データを活用したプライバシ保存型flフレームワークを提案する。 中心的なモデルは、アンサンブル注意蒸留を通じて地元の知識から学習される。 この手法では,既存のflアプローチのように分散および異種ローカルデータを使用するが,さらに重要な点として,プライバシリークのリスクを大幅に低減する。 本研究では,画像分類,セグメンテーション,再構成タスクの広範な実験に基づいて,より堅牢なプライバシ保護により極めて競争力のある性能を実現することを示す。

関連論文リスト

• Privacy-Preserving Federated Learning with Consistency via Knowledge Distillation Using Conditional Generator [19.00239208095762]
  モデルパラメータや更新のみを共有し、プライベートデータをローカルに保持する分散学習フレームワークとして、フェデレートラーニング(FL)が人気を集めています。 高い競争性能と高レベルのプライバシ保護を備えた新しいFL法であるFedMD-CGを提案する。 我々は、FedMD-CGの優位性を検証するために、様々な画像分類タスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2024-09-11T02:36:36Z)
• Provable Privacy Advantages of Decentralized Federated Learning via Distributed Optimization [16.418338197742287]
  フェデレートラーニング(FL)は、データのソースへの配置を可能にすることによって、データのプライバシを改善するために設計されたパラダイムとして登場した。 最近の知見は、分散FLは、集中型モデルよりも追加のプライバシやセキュリティ上のメリットを経験的に提供していないことを示唆している。 分散最適化をデプロイする際の分散FLは、プライバシー保護の強化を実証する。
  論文  参考訳（メタデータ） (2024-07-12T15:01:09Z)
• Federated Learning via Input-Output Collaborative Distillation [40.38454921071808]
  Federated Learning(FL)は、個別に保持されたプライベートデータを共有せずに、分散ローカルノードが協調的に中央モデルをトレーニングする機械学習パラダイムである。 直接入力と出力空間を利用した局所-中央協調蒸留に基づくデータフリーFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T07:05:13Z)
• Federated Learning with Reduced Information Leakage and Computation [17.069452700698047]
  フェデレートラーニング(Federated Learning, FL)は、分散学習パラダイムであり、複数の分散クライアントが、ローカルデータを共有せずに共通のモデルを共同で学習することを可能にする。 本稿では,モデル更新毎に一階近似を適用する手法であるUpcycled-FLを紹介する。 この戦略の下では、FL更新の半分は情報漏洩を伴わず、計算と送信のコストを大幅に削減する。
  論文  参考訳（メタデータ） (2023-10-10T06:22:06Z)
• PS-FedGAN: An Efficient Federated Learning Framework Based on Partially Shared Generative Adversarial Networks For Data Privacy [56.347786940414935]
  分散計算のための効果的な学習パラダイムとして、フェデレートラーニング(FL)が登場した。 本研究は,部分的なGANモデル共有のみを必要とする新しいFLフレームワークを提案する。 PS-FedGANと名付けられたこの新しいフレームワークは、異種データ分散に対処するためのGANリリースおよびトレーニングメカニズムを強化する。
  論文  参考訳（メタデータ） (2023-05-19T05:39:40Z)
• Preserving Privacy in Federated Learning with Ensemble Cross-Domain Knowledge Distillation [22.151404603413752]
  Federated Learning(FL)は、ローカルノードが中央モデルを協調的にトレーニングする機械学習パラダイムである。 既存のFLメソッドはモデルパラメータを共有したり、不均衡なデータ分散の問題に対処するために共蒸留を用いるのが一般的である。 我々は,一発のオフライン知識蒸留を用いたFLフレームワークにおいて,プライバシ保護と通信効率のよい手法を開発した。
  論文  参考訳（メタデータ） (2022-09-10T05:20:31Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
  フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。 モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。 本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
  論文  参考訳（メタデータ） (2022-02-14T18:33:12Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• Differentially private federated deep learning for multi-site medical image segmentation [56.30543374146002]
  フェデレートラーニング(FL)のような協調機械学習技術は、データ転送なしで効果的に大規模なデータセット上でモデルのトレーニングを可能にする。 近年のイニシアチブでは、FLで訓練されたセグメンテーションモデルが、局所的に訓練されたモデルと同様のパフォーマンスを達成できることが示されている。 しかし、FLは完全なプライバシ保護技術ではなく、プライバシ中心の攻撃は秘密の患者データを開示することができる。
  論文  参考訳（メタデータ） (2021-07-06T12:57:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。