論文の概要: Defending against Reconstruction Attacks through Differentially Private
Federated Learning for Classification of Heterogeneous Chest X-Ray Data
- arxiv url: http://arxiv.org/abs/2205.03168v1
- Date: Fri, 6 May 2022 12:32:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-09 16:22:42.848078
- Title: Defending against Reconstruction Attacks through Differentially Private
Federated Learning for Classification of Heterogeneous Chest X-Ray Data
- Title（参考訳）: 不均一胸部X線データの分類のための個人差分学習による再建攻撃の回避
- Authors: Joceline Ziegler, Bjarne Pfitzner, Heinrich Schulz, Axel Saalbach,
Bert Arnrich
- Abstract要約: 本稿では,プライバシ攻撃に対する防御手段として,胸部X線分類における差分プライベート・フェデレーション学習の可能性を評価する。
我々は36のクライアントのうち,公共のCheXpertとMendleyの胸部X線データセットの画像を均一に分散することにより,フェデレーション環境をシミュレートした。
どちらの非民間ベースラインモデルも、医学的発見の有無を検出する二分分類タスクにおいて、ROC曲線(AUC)0.94の領域を達成した。
- 参考スコア（独自算出の注目度）: 0.5249805590164902
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Privacy regulations and the physical distribution of heterogeneous data are
often primary concerns for the development of deep learning models in a medical
context. This paper evaluates the feasibility of differentially private
federated learning for chest X-ray classification as a defense against privacy
attacks on DenseNet121 and ResNet50 network architectures. We simulated a
federated environment by distributing images from the public CheXpert and
Mendeley chest X-ray datasets unevenly among 36 clients. Both non-private
baseline models achieved an area under the ROC curve (AUC) of 0.94 on the
binary classification task of detecting the presence of a medical finding. We
demonstrate that both model architectures are vulnerable to privacy violation
by applying image reconstruction attacks to local model updates from individual
clients. The attack was particularly successful during later training stages.
To mitigate the risk of privacy breach, we integrated R\'enyi differential
privacy with a Gaussian noise mechanism into local model training. We evaluate
model performance and attack vulnerability for privacy budgets $\epsilon \in$
{1, 3, 6, 10}. The DenseNet121 achieved the best utility-privacy trade-off with
an AUC of 0.94 for $\epsilon$ = 6. Model performance deteriorated slightly for
individual clients compared to the non-private baseline. The ResNet50 only
reached an AUC of 0.76 in the same privacy setting. Its performance was
inferior to that of the DenseNet121 for all considered privacy constraints,
suggesting that the DenseNet121 architecture is more robust to differentially
private training.
- Abstract（参考訳）: プライバシー規制と異種データの物理的分布は、しばしば医学的文脈における深層学習モデルの開発における主要な関心事である。
本稿では,DenseNet121およびResNet50ネットワークアーキテクチャに対するプライバシ攻撃に対する防御手段として,胸部X線分類のための差分プライベートフェデレーション学習の可能性を評価する。
公開のchexpertとmendeleyの胸部x線データセットからの画像を36のクライアントに均等に分散することで,フェデレーション環境をシミュレートした。
どちらの非民間ベースラインモデルも、医学的発見の有無を検出する二分分類タスクにおいて、ROC曲線(AUC)0.94の領域を達成した。
両モデルアーキテクチャは,各クライアントのローカルモデル更新に画像再構成攻撃を適用することにより,プライバシー侵害に対して脆弱であることを示す。
この攻撃は後の訓練で特に成功した。
プライバシー侵害のリスクを軽減するため、我々はR'enyi差分プライバシーとガウスノイズ機構をローカルモデルトレーニングに統合した。
プライバシ予算に対するモデルパフォーマンスと攻撃脆弱性を$\epsilon \in$ {1, 3, 6, 10} で評価する。
DenseNet121は、$\epsilon$ = 6のAUCで最高のユーティリティプライバシトレードオフを達成した。
モデル性能は、非プライベートベースラインと比較して、個々のクライアントに対してわずかに低下した。
ResNet50は同じプライバシー設定でAUCが0.76に達した。
その性能はプライバシー上の制約を考慮に入れたDenseNet121よりも劣っており、DenseNet121アーキテクチャは差分プライベートトレーニングよりも堅牢であることを示している。
関連論文リスト
- Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。
被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。
我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
論文 参考訳（メタデータ） (2024-04-01T16:50:54Z) - Initialization Matters: Privacy-Utility Analysis of Overparameterized
Neural Networks [72.51255282371805]
我々は、最悪の近傍データセット上でのモデル分布間のKLばらつきのプライバシー境界を証明した。
このKLプライバシー境界は、トレーニング中にモデルパラメータに対して期待される2乗勾配ノルムによって決定される。
論文 参考訳（メタデータ） (2023-10-31T16:13:22Z) - Differentially Private Computation of Basic Reproduction Numbers in Networked Epidemic Models [3.1966459264817875]
本研究では,ネットワーク化流行モデルの再生数を,差分的にプライベートに計算し,解放するフレームワークを開発する。
実世界の条件下では、平均して7.6%の誤差を発生させながら、差分的にプライベートな方法でR_0$を計算することができる。
論文 参考訳（メタデータ） (2023-09-29T14:38:02Z) - Fine-Tuning with Differential Privacy Necessitates an Additional
Hyperparameter Search [38.83524780461911]
トレーニング済みニューラルネットワークで微調整されたレイヤを慎重に選択することで、プライバシと正確性の間に新たな最先端のトレードオフを確立することができることを示す。
ImageNetで事前トレーニングされたモデルに対して、CIFAR-100上で$(varepsilon, delta)= (2, 10-5)$に対して77.9%の精度を達成する。
論文 参考訳（メタデータ） (2022-10-05T11:32:49Z) - Large Scale Transfer Learning for Differentially Private Image
Classification [51.10365553035979]
Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。
DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。
この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
論文 参考訳（メタデータ） (2022-05-06T01:22:20Z) - Mixed Differential Privacy in Computer Vision [133.68363478737058]
AdaMixは、プライベートとパブリックの両方の画像データを使用して、ディープニューラルネットワーク分類器をトレーニングするための適応型微分プライベートアルゴリズムである。
プライベートデータを無視する数ショットあるいはゼロショットの学習ベースラインは、大規模なプライベートデータセットの微調整よりも優れています。
論文 参考訳（メタデータ） (2022-03-22T06:15:43Z) - Federated Deep Learning with Bayesian Privacy [28.99404058773532]
フェデレートラーニング(FL)は、ユーザ間でプライベートデータを共有せずにモデルを協調的に学習することで、データのプライバシを保護することを目的としている。
ホモモルフィック暗号化(HE)ベースの手法は、セキュアなプライバシ保護を提供するが、非常に高い計算と通信のオーバーヘッドに悩まされる。
差分プライバシ(DP)を用いたディープラーニングは,複雑な管理コストで実践的な学習アルゴリズムとして実装された。
論文 参考訳（メタデータ） (2021-09-27T12:48:40Z) - Understanding Clipping for Federated Learning: Convergence and
Client-Level Differential Privacy [67.4471689755097]
本稿では, 切断したFedAvgが, 実質的なデータ均一性でも驚くほど良好に動作できることを実証的に示す。
本稿では,差分プライベート(DP)FedAvgアルゴリズムの収束解析を行い,クリッピングバイアスとクライアント更新の分布との関係を明らかにする。
論文 参考訳（メタデータ） (2021-06-25T14:47:19Z) - Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。
本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文 参考訳（メタデータ） (2020-12-14T18:59:24Z) - Private Knowledge Transfer via Model Distillation with Generative
Adversarial Networks [7.0202040971648705]
従来のディープラーニングモデルは、個人の機密情報を回復するプライバシー攻撃の傾向にある。
近年、プライバシー保証を提供する差分プライバシが提案され、トレーニングデータを保護するために、プライバシに制限された方法でニューラルネットワークをトレーニングしている。
そこで我々は,機密データに基づいて訓練された個人教師が一般に公開されていないが,学生に公開教育を施す,新たな私的知識伝達戦略を提案する。
論文 参考訳（メタデータ） (2020-04-05T12:55:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。