論文の概要: CANIFE: Crafting Canaries for Empirical Privacy Measurement in Federated Learning

• arxiv url: http://arxiv.org/abs/2210.02912v1
• Date: Thu, 6 Oct 2022 13:30:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 17:56:48.634888
• Title: CANIFE: Crafting Canaries for Empirical Privacy Measurement in Federated Learning
• Title（参考訳）: canife: 連合学習における経験的プライバシー測定のためのカナリア作成
• Authors: Samuel Maddock, Alexandre Sablayrolles and Pierre Stock
• Abstract要約: Federated Learning(FL)は、分散環境で機械学習モデルをトレーニングするための設定である。 本稿では,訓練ラウンドの経験的プライバシを評価するために,強敵による慎重なサンプル作成手法であるCANIFEを提案する。
• 参考スコア（独自算出の注目度）: 77.27443885999404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) is a setting for training machine learning models in distributed environments where the clients do not share their raw data but instead send model updates to a server. However, model updates can be subject to attacks and leak private information. Differential Privacy (DP) is a leading mitigation strategy which involves adding noise to clipped model updates, trading off performance for strong theoretical privacy guarantees. Previous work has shown that the threat model of DP is conservative and that the obtained guarantees may be vacuous or may not directly translate to information leakage in practice. In this paper, we aim to achieve a tighter measurement of the model exposure by considering a realistic threat model. We propose a novel method, CANIFE, that uses canaries - carefully crafted samples by a strong adversary to evaluate the empirical privacy of a training round. We apply this attack to vision models trained on CIFAR-10 and CelebA and to language models trained on Sent140 and Shakespeare. In particular, in realistic FL scenarios, we demonstrate that the empirical epsilon obtained with CANIFE is 2-7x lower than the theoretical bound.
• Abstract（参考訳）: Federated Learning(FL)は、クライアントが生データを共有せず、モデルのアップデートをサーバに送る分散環境で機械学習モデルをトレーニングするための設定である。 しかし、モデル更新は攻撃を受け、個人情報を漏洩する可能性がある。 差分プライバシー(DP)は、クリップされたモデル更新にノイズを追加し、強力な理論的プライバシー保証のためにパフォーマンスをトレードオフする主要な緩和戦略である。 前回の研究では、dpの脅威モデルは保守的であり、得られた保証は空白であるか、実際には情報漏洩に直接変換されない可能性があることが示されている。 本稿では,現実的な脅威モデルを考慮したモデル露出の厳密な測定を実現することを目的とする。 本稿では,カナリアを用いた新しい手法であるCANIFEを提案する。訓練ラウンドの経験的プライバシを評価するために,強敵による慎重にサンプルを作成する。 この攻撃は、CIFAR-10とCelebAで訓練された視覚モデルと、Sent140とシェイクスピアで訓練された言語モデルに適用する。 特に現実的なFLシナリオでは、CANIFEで得られた経験的エプシロンが理論的境界より2～7倍低いことを示す。

関連論文リスト

• Forget to Flourish: Leveraging Machine-Unlearning on Pretrained Language Models for Privacy Leakage [12.892449128678516]
  下流アプリケーション用のプライベートデータ上の微調整言語モデルは、重大なプライバシーリスクを生じさせる。 いくつかの人気のあるコミュニティプラットフォームが、様々な事前訓練されたモデルの便利な配布を提供している。 本稿では,モデル学習を攻撃ツールとして利用する新しい毒殺手法を提案する。
  論文  参考訳（メタデータ） (2024-08-30T15:35:09Z)
• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• PreCurious: How Innocent Pre-Trained Language Models Turn into Privacy Traps [13.547526990125775]
  我々は,攻撃者が事前訓練したモデルをリリースする新たな攻撃面を明らかにするために,PreCuriousフレームワークを提案する。 PreCuriousは、メンバーシップ推論とデータ抽出の両方の一般的なプライバシーリスクを微調整データセット上でエスカレートすることを目的としている。
  論文  参考訳（メタデータ） (2024-03-14T16:54:17Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• TrustGAN: Training safe and trustworthy deep learning models through generative adversarial networks [0.0]
  信頼度を目標とした生成逆ネットワークパイプラインであるTrustGANを提案する。 パイプラインは、予測とこの予測に対する信頼を出力する任意のディープラーニングモデルを受け入れることができる。 ここでは、MNISTデータに基づいて訓練されたターゲット分類モデルに適用し、画像に基づいて数値を認識する。
  論文  参考訳（メタデータ） (2022-11-25T09:57:23Z)
• Do Gradient Inversion Attacks Make Federated Learning Unsafe? [70.0231254112197]
  フェデレートラーニング(FL)は、生データを共有することなく、AIモデルの協調トレーニングを可能にする。 モデル勾配からのディープニューラルネットワークの反転に関する最近の研究は、トレーニングデータの漏洩を防止するためのFLの安全性に関する懸念を提起した。 本研究では,本論文で提示されたこれらの攻撃が実際のFLユースケースでは実行不可能であることを示し,新たなベースライン攻撃を提供する。
  論文  参考訳（メタデータ） (2022-02-14T18:33:12Z)
• Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
  モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。 本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。 実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-10-08T16:20:48Z)
• Privacy Analysis of Deep Learning in the Wild: Membership Inference Attacks against Transfer Learning [27.494206948563885]
  本稿では,転送学習モデルに対するメンバシップ推論攻撃の最初の体系的評価について述べる。 4つの実世界の画像データセットに対する実験により、メンバーシップ推論が効果的なパフォーマンスを達成できることが示されている。 我々の結果は、実際に機械学習モデルから生じるメンバーシップリスクの深刻さを浮き彫りにした。
  論文  参考訳（メタデータ） (2020-09-10T14:14:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。