論文の概要: Locally Differentially Private Distributed Deep Learning via Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2202.02971v1
• Date: Mon, 7 Feb 2022 06:43:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-09 03:15:40.869995
• Title: Locally Differentially Private Distributed Deep Learning via Knowledge Distillation
• Title（参考訳）: 知識蒸留による局所的個人分散型深層学習
• Authors: Di Zhuang, Mingchen Li and J. Morris Chang
• Abstract要約: ローカルな差分プライバシーと知識蒸留による分散ディープラーニングフレームワーク LDP-DL を提案する。 LDP-DLは、プライバシ予算とモデルの正確性という点で、他社よりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 11.000499414131328
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning often requires a large amount of data. In real-world applications, e.g., healthcare applications, the data collected by a single organization (e.g., hospital) is often limited, and the majority of massive and diverse data is often segregated across multiple organizations. As such, it motivates the researchers to conduct distributed deep learning, where the data user would like to build DL models using the data segregated across multiple different data owners. However, this could lead to severe privacy concerns due to the sensitive nature of the data, thus the data owners would be hesitant and reluctant to participate. We propose LDP-DL, a privacy-preserving distributed deep learning framework via local differential privacy and knowledge distillation, where each data owner learns a teacher model using its own (local) private dataset, and the data user learns a student model to mimic the output of the ensemble of the teacher models. In the experimental evaluation, a comprehensive comparison has been made among our proposed approach (i.e., LDP-DL), DP-SGD, PATE and DP-FL, using three popular deep learning benchmark datasets (i.e., CIFAR10, MNIST and FashionMNIST). The experimental results show that LDP-DL consistently outperforms the other competitors in terms of privacy budget and model accuracy.
• Abstract（参考訳）: ディープラーニングは多くの場合、大量のデータを必要とする。 医療アプリケーションのような現実世界のアプリケーションでは、単一の組織(病院など)が収集するデータは、しばしば制限され、大規模で多様なデータの大部分は、複数の組織にまたがって分離される。 そのため、データ利用者は複数の異なるデータ所有者間で分離されたデータを使用してDLモデルを構築したいと考える。 しかし、これはデータの機密性に起因するプライバシー上の深刻な懸念につながる可能性があるため、データ所有者はためらって参加を嫌うだろう。 本研究では,各データ所有者が独自の(ローカルな)プライベートデータセットを用いて教師モデルを学習し,データ利用者が教師モデルのアンサンブルの出力を模倣するために学生モデルを学習する,ローカルな差分プライバシーと知識蒸留によるプライバシー保護型分散ディープラーニングフレームワーク LDP-DL を提案する。 実験評価では,3つの人気のあるディープラーニングベンチマークデータセット(CIFAR10,MNIST,FashionMNIST)を用いて,提案手法(DP-DL),DP-SGD,PATE,DP-FL)の総合的な比較を行った。 実験結果から, LDP-DLはプライバシ予算やモデル精度において, 他社よりも一貫して優れていた。

関連論文リスト

• Formality is Favored: Unraveling the Learning Preferences of Large Language Models on Data with Conflicting Knowledge [55.65162959527848]
  大規模言語モデルは、多くの知識集約的なタスクにおいて優れたパフォーマンスを示している。 しかし、事前学習データには誤解を招く傾向があり、矛盾する情報も含まれている。 本研究では,LLMの学習嗜好を,矛盾する知識を持つデータに対して体系的に分析する。
  論文  参考訳（メタデータ） (2024-10-07T06:49:41Z)
• Learning Privacy-Preserving Student Networks via Discriminative-Generative Distillation [24.868697898254368]
  ディープモデルは、実用デプロイメントにおいてプライバシー漏洩のリスクを引き起こす可能性がある。 本稿では,プライバシー保護深層モデル学習のための識別・生成蒸留手法を提案する。 提案手法は,プライベートデータに対するクエリコストと精度の低下を統一的に制御できる。
  論文  参考訳（メタデータ） (2024-09-04T03:06:13Z)
• Can Public Large Language Models Help Private Cross-device Federated Learning? [58.05449579773249]
  言語モデルのプライベート・フェデレーション・ラーニング(FL)について検討する。 公開データは、大小両方の言語モデルのプライバシーとユーティリティのトレードオフを改善するために使われてきた。 提案手法は,プライベートなデータ分布に近い公開データをサンプリングするための理論的基盤を持つ新しい分布マッチングアルゴリズムである。
  論文  参考訳（メタデータ） (2023-05-20T07:55:58Z)
• Differentially Private Language Models for Secure Data Sharing [19.918137395199224]
  本稿では,生成言語モデルを個別に学習し,その結果を抽出する方法について述べる。 自然言語のプロンプトと新しいプロンプトミスマッチの損失を用いることで、高度に正確で流動的なテキストデータセットを作成できる。 我々は、我々の合成データセットが元のデータから情報を漏らさず、言語質が高いことを示す徹底的な実験を行う。
  論文  参考訳（メタデータ） (2022-10-25T11:12:56Z)
• Personalized PATE: Differential Privacy for Machine Learning with Individual Privacy Guarantees [1.2691047660244335]
  トレーニングデータ内に、パーソナライズされたプライバシ保証の異なるMLモデルのトレーニングを支援する3つの新しい方法を提案する。 実験により, 個人化されたプライバシ手法は, 非個人化されたベースラインよりも高い精度のモデルが得られることがわかった。
  論文  参考訳（メタデータ） (2022-02-21T20:16:27Z)
• Personalization Improves Privacy-Accuracy Tradeoffs in Federated Optimization [57.98426940386627]
  局所的な学習とプライベートな集中学習の協調は、総合的に有用であり、精度とプライバシのトレードオフを改善していることを示す。 合成および実世界のデータセットに関する実験により理論的結果について述べる。
  論文  参考訳（メタデータ） (2022-02-10T20:44:44Z)
• Differentially Private Synthetic Data: Applied Evaluations and Enhancements [4.749807065324706]
  異なるプライベートデータ合成は、個人の詳細を露出から保護する。 データ合成のための4つの差分私的生成対向ネットワークの評価を行った。 合成データを生成するためのアンサンブルに基づくモデリング手法であるQUAILを提案する。
  論文  参考訳（メタデータ） (2020-11-11T04:03:08Z)
• GS-WGAN: A Gradient-Sanitized Approach for Learning Differentially Private Generators [74.16405337436213]
  我々は、GS-WGAN(Gradient-sanitized Wasserstein Generative Adrial Networks)を提案する。 GS-WGANは、厳格なプライバシー保証を備えた機密データの衛生的な形式での公開を可能にする。 このアプローチは、複数のメトリクスにわたる最先端のアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2020-06-15T10:01:01Z)
• Decentralised Learning from Independent Multi-Domain Labels for Person Re-Identification [69.29602103582782]
  ディープラーニングは多くのコンピュータビジョンタスクで成功している。 しかし、プライバシー問題に対する意識の高まりは、特に人物の再識別(Re-ID)において、ディープラーニングに新たな課題をもたらす。 我々は,複数のプライバシ保護されたローカルモデル(ローカルクライアント)を同時に学習することにより,汎用的なグローバルモデル(中央サーバ)を構築するための,フェデレート・パーソナライゼーション(FedReID)と呼ばれる新しいパラダイムを提案する。 このクライアントサーバ共同学習プロセスは、プライバシコントロールの下で反復的に実行されるため、分散データを共有したり、収集したりすることなく、分散学習を実現することができる。
  論文  参考訳（メタデータ） (2020-06-07T13:32:33Z)
• Multi-Center Federated Learning [62.57229809407692]
  本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-03T09:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。