論文の概要: Honest-but-Curious Nets: Sensitive Attributes of Private Inputs can be
Secretly Coded into the Entropy of Classifiers' Outputs
- arxiv url: http://arxiv.org/abs/2105.12049v1
- Date: Tue, 25 May 2021 16:27:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-26 13:37:38.635756
- Title: Honest-but-Curious Nets: Sensitive Attributes of Private Inputs can be
Secretly Coded into the Entropy of Classifiers' Outputs
- Title（参考訳）: Honest-but-Curious Nets: Sensitive Attributes of Private Inputs can be Secretly Coded into the Entropy of Classifiers' Outputs
- Authors: Mohammad Malekzadeh and Anastasia Borovykh and Deniz G\"und\"uz
- Abstract要約: 非センシティブなターゲット属性の分類のために訓練されたディープニューラルネットワークは、入力データのセンシティブな属性を明らかにすることができる。
深層分類器は,ユーザの入力データの機密属性を,推論時に秘密裏に符号化するように訓練できることを示す。
- 参考スコア（独自算出の注目度）: 1.0742675209112622
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is known that deep neural networks, trained for the classification of a
non-sensitive target attribute, can reveal sensitive attributes of their input
data; through features of different granularity extracted by the classifier.
We, taking a step forward, show that deep classifiers can be trained to
secretly encode a sensitive attribute of users' input data, at inference time,
into the classifier's outputs for the target attribute. An attack that works
even if users have a white-box view of the classifier, and can keep all
internal representations hidden except for the classifier's estimation of the
target attribute. We introduce an information-theoretical formulation of such
adversaries and present efficient empirical implementations for training
honest-but-curious (HBC) classifiers based on this formulation: deep models
that can be accurate in predicting the target attribute, but also can utilize
their outputs to secretly encode a sensitive attribute. Our evaluations on
several tasks in real-world datasets show that a semi-trusted server can build
a classifier that is not only perfectly honest but also accurately curious. Our
work highlights a vulnerability that can be exploited by malicious machine
learning service providers to attack their user's privacy in several seemingly
safe scenarios; such as encrypted inferences, computations at the edge, or
private knowledge distillation. We conclude by showing the difficulties in
distinguishing between standard and HBC classifiers and discussing potential
proactive defenses against this vulnerability of deep classifiers.
- Abstract（参考訳）: 非感受性ターゲット属性の分類のために訓練されたディープニューラルネットワークは、分類器によって抽出された異なる粒度の特徴を通じて、入力データの感度特性を明らかにすることが知られている。
一歩進めて、深い分類器は、推論時にユーザの入力データの機密属性を、ターゲット属性に対する分類器の出力に秘密裏にエンコードするように訓練できることを示した。
ユーザが分類器のホワイトボックスビューを持っていたとしても動作し、分類器のターゲット属性の推定を除いてすべての内部表現を隠しておくことができる。
本稿では,このような敵の情報を理論的に定式化することを提案し,この定式化に基づいて,正直だが正確な(hbc)分類器を訓練するための効率的な経験的実装を提案する。
実世界のデータセットにおけるいくつかのタスクに対する評価は、半信頼のサーバが完全に正直なだけでなく、正確に好奇心をそそる分類器を構築できることを示している。
私たちの研究は、暗号化された推論、エッジでの計算、プライベート知識の蒸留など、悪意のある機械学習サービスプロバイダがユーザのプライバシを攻撃するために悪用する脆弱性を強調しています。
本研究は,標準分類器とHBC分類器を区別することの難しさと,この深層分類器の脆弱性に対する予防的防御の可能性について述べる。
関連論文リスト
- From Generalist to Specialist: Exploring CWE-Specific Vulnerability Detection [1.9249287163937974]
Common Weaknession(CWE)は、異なる特徴、コードセマンティクス、パターンを持つ脆弱性のユニークなカテゴリである。
すべての脆弱性をバイナリ分類アプローチで単一のラベルとして扱うことは、問題を単純化する可能性がある。
論文 参考訳（メタデータ） (2024-08-05T09:12:39Z) - How adversarial attacks can disrupt seemingly stable accurate classifiers [76.95145661711514]
敵攻撃は、入力データに不連続な修正を加えることで、非正確な学習システムの出力を劇的に変化させる。
ここでは,これは高次元入力データを扱う分類器の基本的特徴であると考えられる。
実用システムで観測される重要な振る舞いを高い確率で発生させる、単純で汎用的なフレームワークを導入する。
論文 参考訳（メタデータ） (2023-09-07T12:02:00Z) - Class Attribute Inference Attacks: Inferring Sensitive Class Information
by Diffusion-Based Attribute Manipulations [15.957198667607006]
ブラックボックス設定において,個々のクラスに対する機密属性を推測するために,最初のクラス属性推論攻撃(CAIA)を導入する。
顔認識領域における我々の実験は、CAIAが個人の髪の色、性別、人種的外観など、未公表の機密属性を正確に推測できることを示している。
論文 参考訳（メタデータ） (2023-03-16T13:10:58Z) - Training privacy-preserving video analytics pipelines by suppressing
features that reveal information about private attributes [40.31692020706419]
我々は、デプロイされたディープニューラルネットワークによって抽出された機能にアクセス可能な敵を検討し、これらの機能を使用してプライベート属性を予測する。
我々は,個人属性を正確に予測し難い特徴の抽出を促す混乱損失を用いて,ネットワークのトレーニングを変更する。
その結果、提案したPrivateNetは、元のネットワークと比較して、最先端の感情認識の個人情報の漏洩を2.88%、年齢グループで13.06%削減できることがわかった。
論文 参考訳（メタデータ） (2022-03-05T01:31:07Z) - PASS: Protected Attribute Suppression System for Mitigating Bias in Face
Recognition [55.858374644761525]
顔認識ネットワークは、識別分類のために訓練されている間、機密属性に関する情報を符号化する。
既存のバイアス緩和アプローチでは、エンドツーエンドのトレーニングが必要であり、高い精度を達成できない。
PASS(Protected Attribute Suppression System)と呼ばれる記述子に基づく逆バイアス除去手法を提案する。
パスは、以前に訓練されたハイパフォーマンスネットワークから得られた記述子を使って、アイデンティティを分類し、機密属性のエンコーディングを同時に削減することができる。
論文 参考訳（メタデータ） (2021-08-09T00:39:22Z) - Detection of Adversarial Supports in Few-shot Classifiers Using Feature
Preserving Autoencoders and Self-Similarity [89.26308254637702]
敵対的なサポートセットを強調するための検出戦略を提案する。
我々は,特徴保存型オートエンコーダフィルタリングと,この検出を行うサポートセットの自己相似性の概念を利用する。
提案手法は攻撃非依存であり, 最善の知識まで, 数発分類器の検出を探索する最初の方法である。
論文 参考訳（メタデータ） (2020-12-09T14:13:41Z) - Open-set Adversarial Defense [93.25058425356694]
オープンセット認識システムは敵攻撃に対して脆弱であることを示す。
本研究の目的は,OSAD(Open-Set Adrial Defense, Open-Set Adrial Defense)機構の必要性である。
本稿はOSAD問題に対する解決策として,OSDN(Open-Set Defense Network)を提案する。
論文 参考訳（メタデータ） (2020-09-02T04:35:33Z) - Counterfactual Explanation Based on Gradual Construction for Deep
Networks [17.79934085808291]
深層ネットワークがトレーニングデータセットから学んだパターンは、様々なクラスの特徴の変化を観察して把握することができる。
現在のアプローチでは、ディープネットワークの内部特性に関係なく、ターゲットクラスの分類確率を高めるために、特徴修正を行う。
本稿では,トレーニングデータセットから得られた統計情報を利用した実例説明手法を提案する。
論文 参考訳（メタデータ） (2020-08-05T01:18:31Z) - Null It Out: Guarding Protected Attributes by Iterative Nullspace
Projection [51.041763676948705]
Iterative Null-space Projection (INLP) は神経表現から情報を取り除く新しい方法である。
提案手法は,単語埋め込みにおけるバイアスを軽減するとともに,複数クラス分類の設定において公平性を高めることができることを示す。
論文 参考訳（メタデータ） (2020-04-16T14:02:50Z) - Certified Robustness to Label-Flipping Attacks via Randomized Smoothing [105.91827623768724]
機械学習アルゴリズムは、データ中毒攻撃の影響を受けやすい。
任意の関数に対するランダム化スムージングの統一的なビューを示す。
本稿では,一般的なデータ中毒攻撃に対して,ポイントワイズで確実に堅牢な分類器を構築するための新しい戦略を提案する。
論文 参考訳（メタデータ） (2020-02-07T21:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。