論文の概要: Layer-wise Characterization of Latent Information Leakage in Federated Learning

• arxiv url: http://arxiv.org/abs/2010.08762v4
• Date: Sat, 29 May 2021 11:10:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 12:05:05.624858
• Title: Layer-wise Characterization of Latent Information Leakage in Federated Learning
• Title（参考訳）: 連合学習における潜在情報漏洩の階層的特徴付け
• Authors: Fan Mo, Anastasia Borovykh, Mohammad Malekzadeh, Hamed Haddadi, Soteris Demetriou
• Abstract要約: フェデレートされた学習を通じてディープニューラルネットワークをトレーニングすることで、クライアントは元のデータではなく、データに基づいてトレーニングされたモデルのみを共有することができる。 従来の研究は、クライアントのプライベート情報が、メインの学習タスクとは無関係に、モデルの勾配から発見できることを実証している。 共有された更新モデルや勾配を通じて、プライベート情報の漏洩を定量化するための公式なアプローチはまだ存在しない。
• 参考スコア（独自算出の注目度）: 9.397152006395174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training deep neural networks via federated learning allows clients to share, instead of the original data, only the model trained on their data. Prior work has demonstrated that in practice a client's private information, unrelated to the main learning task, can be discovered from the model's gradients, which compromises the promised privacy protection. However, there is still no formal approach for quantifying the leakage of private information via the shared updated model or gradients. In this work, we analyze property inference attacks and define two metrics based on (i) an adaptation of the empirical $\mathcal{V}$-information, and (ii) a sensitivity analysis using Jacobian matrices allowing us to measure changes in the gradients with respect to latent information. We show the applicability of our proposed metrics in localizing private latent information in a layer-wise manner and in two settings where (i) we have or (ii) we do not have knowledge of the attackers' capabilities. We evaluate the proposed metrics for quantifying information leakage on three real-world datasets using three benchmark models.
• Abstract（参考訳）: 連合学習によるディープニューラルネットワークのトレーニング クライアントは、元のデータの代わりに、自身のデータでトレーニングされたモデルのみを共有することができる。 以前の研究は、クライアントのプライベート情報が、メインの学習タスクとは無関係に、モデルの勾配から発見できることを示しており、これは、約束されたプライバシ保護を損なう。 しかし、共有更新モデルや勾配による個人情報の漏洩を定量化する正式な方法はまだ存在しない。 本研究では,プロパティ推論攻撃を分析し,2つの指標を定義する。 (i)経験的$\mathcal{v}$-informationの適応、及び (II)ジャコビアン行列を用いた感度解析により,潜時情報に対する勾配の変化を測定することができる。 レイヤワイドおよび2つの設定でプライベート潜伏情報をローカライズする手法として,提案手法の適用性を示す。 (i)あるか、又は (ii)攻撃者の能力の知識がない。 本研究では,3つのベンチマークモデルを用いて,実世界の3つのデータセットの情報漏洩を定量化する指標を評価する。

関連論文リスト

• Approximate Gradient Coding for Privacy-Flexible Federated Learning with Non-IID Data [9.984630251008868]
  この研究は、フェデレートラーニングにおける非IIDデータとストラグラー/ドロップアウトの課題に焦点を当てる。 クライアントのローカルデータの一部を非プライベートとしてモデル化する、プライバシフレキシブルなパラダイムを導入し、検討する。
  論文  参考訳（メタデータ） (2024-04-04T15:29:50Z)
• Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning Interference with Gradient Projection [56.292071534857946]
  最近のデータプライバシ法は、機械学習への関心を喚起している。 課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。 我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。 トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
  論文  参考訳（メタデータ） (2023-12-07T07:17:24Z)
• Independent Distribution Regularization for Private Graph Embedding [55.24441467292359]
  グラフ埋め込みは属性推論攻撃の影響を受けやすいため、攻撃者は学習したグラフ埋め込みからプライベートノード属性を推測することができる。 これらの懸念に対処するため、プライバシ保護グラフ埋め込み手法が登場した。 独立分散ペナルティを正規化項として支援し, PVGAE(Private Variational Graph AutoEncoders)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-16T13:32:43Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
  フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。 モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。 本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
  論文  参考訳（メタデータ） (2022-02-14T18:33:12Z)
• Enhanced Membership Inference Attacks against Machine Learning Models [9.26208227402571]
  メンバーシップ推論攻撃は、モデルがトレーニングセット内の個々のデータポイントについてリークする個人情報の定量化に使用される。 我々は,AUCスコアを高い精度で達成できる新たな攻撃アルゴリズムを導き,その性能に影響を及ぼすさまざまな要因を強調した。 我々のアルゴリズムは、モデルにおけるプライバシ損失の極めて正確な近似を捉え、機械学習モデルにおけるプライバシリスクの正確かつ詳細な推定を行うためのツールとして使用することができる。
  論文  参考訳（メタデータ） (2021-11-18T13:31:22Z)
• Unified Instance and Knowledge Alignment Pretraining for Aspect-based Sentiment Analysis [96.53859361560505]
  Aspect-based Sentiment Analysis (ABSA) は、ある側面に対する感情の極性を決定することを目的としている。 事前トレーニングと下流ABSAデータセットの間には、常に深刻なドメインシフトが存在する。 我々は,バニラ・プレトレイン・ファインチューンパイプラインにアライメント事前訓練フレームワークを導入する。
  論文  参考訳（メタデータ） (2021-10-26T04:03:45Z)
• Quantifying Information Leakage from Gradients [8.175697239083474]
  トレーニングデータの代わりにディープニューラルネットワークの勾配を共有することで、コラボレーティブラーニングにおけるデータのプライバシが向上する可能性がある。 しかし実際には、勾配はプライベート潜在属性とオリジナルデータの両方を明らかにすることができる。 トレーニングデータ上で計算された勾配から、元の情報漏洩と潜時情報漏洩の両方を定量化するために、数学的メトリクスが必要である。
  論文  参考訳（メタデータ） (2021-05-28T15:47:44Z)
• Bounding Information Leakage in Machine Learning [26.64770573405079]
  本稿では,情報漏洩の基本的な境界について検討する。 最悪の会員推論攻撃の成功率を特定し、拘束します。 感度の高い属性とモデルパラメータの間の相互情報の境界を導出する。
  論文  参考訳（メタデータ） (2021-05-09T08:49:14Z)
• A Quantitative Metric for Privacy Leakage in Federated Learning [22.968763654455298]
  クライアントが勾配における情報漏洩の潜在的なリスクを評価するために、相互情報に基づく定量的指標を提案します。 情報漏洩のリスクは、タスクモデルの状態だけでなく、固有のデータ分布に関連していることが証明されています。
  論文  参考訳（メタデータ） (2021-02-24T02:48:35Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。