論文の概要: Truth Serum: Poisoning Machine Learning Models to Reveal Their Secrets
- arxiv url: http://arxiv.org/abs/2204.00032v1
- Date: Thu, 31 Mar 2022 18:06:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-04 13:48:37.266127
- Title: Truth Serum: Poisoning Machine Learning Models to Reveal Their Secrets
- Title（参考訳）: 真実の血清: 秘密を明らかにするための機械学習モデル
- Authors: Florian Tram\`er and Reza Shokri and Ayrton San Joaquin and Hoang Le
and Matthew Jagielski and Sanghyun Hong and Nicholas Carlini
- Abstract要約: トレーニングデータセットを有害にすることができる敵が、このデータセットでトレーニングされたモデルに、他の当事者のプライベート詳細を漏洩させる可能性があることを示す。
私たちの攻撃は、メンバーシップ推論、属性推論、データ抽出に効果的です。
私たちの結果は、機械学習のためのマルチパーティプロトコルにおける暗号化プライバシ保証の関連性に疑問を投げかけました。
- 参考スコア（独自算出の注目度）: 53.866927712193416
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a new class of attacks on machine learning models. We show that
an adversary who can poison a training dataset can cause models trained on this
dataset to leak significant private details of training points belonging to
other parties. Our active inference attacks connect two independent lines of
work targeting the integrity and privacy of machine learning training data.
Our attacks are effective across membership inference, attribute inference,
and data extraction. For example, our targeted attacks can poison <0.1% of the
training dataset to boost the performance of inference attacks by 1 to 2 orders
of magnitude. Further, an adversary who controls a significant fraction of the
training data (e.g., 50%) can launch untargeted attacks that enable 8x more
precise inference on all other users' otherwise-private data points.
Our results cast doubts on the relevance of cryptographic privacy guarantees
in multiparty computation protocols for machine learning, if parties can
arbitrarily select their share of training data.
- Abstract（参考訳）: 機械学習モデルに対する新たな攻撃方法を紹介する。
トレーニングデータセットに毒を盛ることができる敵は、このデータセットでトレーニングされたモデルが、他の当事者に属するトレーニングポイントに関する重要なプライベートな詳細を漏洩させる可能性がある。
当社のアクティブ推論攻撃は、マシンラーニングトレーニングデータの完全性とプライバシをターゲットとした、2つの独立した作業ラインを接続します。
私たちの攻撃は、メンバーシップ推論、属性推論、データ抽出に効果的です。
例えば、ターゲットとする攻撃はトレーニングデータセットの0.1%を汚染し、推論攻撃のパフォーマンスを1～2桁向上させることができます。
さらに、トレーニングデータ(例えば50%)のかなりの部分を制御する敵は、他のユーザのプライベートなデータポイントの8倍の正確な推論を可能にする、ターゲット外の攻撃を起動することができる。
この結果から,機械学習のマルチパーティ計算プロトコルにおける暗号化プライバシ保証の関連性について疑念が持たれた。
関連論文リスト
- Students Parrot Their Teachers: Membership Inference on Model
Distillation [54.392069096234074]
知識蒸留によるプライバシを,教師と学生のトレーニングセットの両方で研究する。
私たちの攻撃は、生徒セットと教師セットが類似している場合、または攻撃者が教師セットを毒できる場合、最強です。
論文 参考訳（メタデータ） (2023-03-06T19:16:23Z) - Learning to Unlearn: Instance-wise Unlearning for Pre-trained
Classifiers [71.70205894168039]
そこでは、事前訓練されたモデルからインスタンスのセットに関する情報を削除することを目標としています。
本稿では,1)表現レベルでの忘れを克服するために,敵の例を活用すること,2)不必要な情報を伝播するネットワークパラメータをピンポイントする重み付け指標を活用すること,の2つの方法を提案する。
論文 参考訳（メタデータ） (2023-01-27T07:53:50Z) - Redactor: Targeted Disinformation Generation using Probabilistic
Decision Boundaries [7.303121062667876]
本研究では,特定のターゲットに対する推論攻撃の精度を下げることが目的である標的偽情報の問題について検討する。
我々は,異なるクラスとしてラベル付けされる入力空間のターゲットに最も近い点を見つけることで,この問題を最もよく解決できることを示す。
また,偽情報を現実的にするための手法も提案する。
論文 参考訳（メタデータ） (2022-02-07T01:43:25Z) - Enhanced Membership Inference Attacks against Machine Learning Models [9.26208227402571]
メンバーシップ推論攻撃は、モデルがトレーニングセット内の個々のデータポイントについてリークする個人情報の定量化に使用される。
我々は,AUCスコアを高い精度で達成できる新たな攻撃アルゴリズムを導き,その性能に影響を及ぼすさまざまな要因を強調した。
我々のアルゴリズムは、モデルにおけるプライバシ損失の極めて正確な近似を捉え、機械学習モデルにおけるプライバシリスクの正確かつ詳細な推定を行うためのツールとして使用することができる。
論文 参考訳（メタデータ） (2021-11-18T13:31:22Z) - Privacy-Preserving Federated Learning on Partitioned Attributes [6.661716208346423]
フェデレーション学習は、ローカルデータやモデルを公開することなく、協調的なトレーニングを促進する。
ローカルモデルをチューニングし、プライバシー保護された中間表現をリリースする逆学習ベースの手順を紹介します。
精度低下を緩和するために,前方後方分割アルゴリズムに基づく防御法を提案する。
論文 参考訳（メタデータ） (2021-04-29T14:49:14Z) - Property Inference Attacks on Convolutional Neural Networks: Influence
and Implications of Target Model's Complexity [1.2891210250935143]
プロパティ推論攻撃は、トレーニングデータセットに関する与えられたモデルプロパティをモデルの主な目標とは無関係に推測することを目的としている。
本稿では,ターゲットモデルの複雑性が攻撃の精度に及ぼす影響について検討する。
その結果,ターゲットモデルの複雑さとは無関係に,プライバシ侵害のリスクがあることが判明した。
論文 参考訳（メタデータ） (2021-04-27T09:19:36Z) - Curse or Redemption? How Data Heterogeneity Affects the Robustness of
Federated Learning [51.15273664903583]
データの不均一性は、フェデレートラーニングにおける重要な特徴の1つとして認識されているが、しばしば敵対的攻撃に対する堅牢性のレンズで見過ごされる。
本稿では, 複合学習におけるバックドア攻撃の影響を, 総合的な実験を通じて評価し, 理解することを目的とした。
論文 参考訳（メタデータ） (2021-02-01T06:06:21Z) - Sampling Attacks: Amplification of Membership Inference Attacks by
Repeated Queries [74.59376038272661]
本手法は,他の標準メンバーシップ相手と異なり,被害者モデルのスコアにアクセスできないような厳格な制限の下で動作可能な,新しいメンバーシップ推論手法であるサンプリングアタックを導入する。
ラベルのみを公開している被害者モデルでは,攻撃のサンプリングが引き続き可能であり,攻撃者はその性能の最大100%を回復できることを示す。
防衛においては,被害者モデルのトレーニング中の勾配摂動と予測時の出力摂動の形式で差分プライバシーを選択する。
論文 参考訳（メタデータ） (2020-09-01T12:54:54Z) - Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。
本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。
ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-13T08:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。