論文の概要: Representation Magnitude has a Liability to Privacy Vulnerability
- arxiv url: http://arxiv.org/abs/2407.16164v1
- Date: Tue, 23 Jul 2024 04:13:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-24 18:45:39.558622
- Title: Representation Magnitude has a Liability to Privacy Vulnerability
- Title(参考訳): 表現のマグニチュードはプライバシーの脆弱性に責任を持つ
- Authors: Xingli Fang, Jung-Eun Kim,
- Abstract要約: 本稿では,会員のプライバシー漏洩を軽減するためのプラグインモデルレベルのソリューションを提案する。
我々のアプローチは、一般化性を維持しながらモデルのプライバシの脆弱性を改善する。
- 参考スコア(独自算出の注目度): 3.301728339780329
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The privacy-preserving approaches to machine learning (ML) models have made substantial progress in recent years. However, it is still opaque in which circumstances and conditions the model becomes privacy-vulnerable, leading to a challenge for ML models to maintain both performance and privacy. In this paper, we first explore the disparity between member and non-member data in the representation of models under common training frameworks. We identify how the representation magnitude disparity correlates with privacy vulnerability and address how this correlation impacts privacy vulnerability. Based on the observations, we propose Saturn Ring Classifier Module (SRCM), a plug-in model-level solution to mitigate membership privacy leakage. Through a confined yet effective representation space, our approach ameliorates models' privacy vulnerability while maintaining generalizability. The code of this work can be found here: \url{https://github.com/JEKimLab/AIES2024_SRCM}
- Abstract(参考訳): 機械学習(ML)モデルに対するプライバシ保護アプローチは、近年大きく進歩している。
しかし、モデルがプライバシに悪影響を及ぼす状況や状況は依然として不透明であり、MLモデルがパフォーマンスとプライバシの両方を維持することは困難である。
本稿では,モデル表現におけるメンバデータと非メンバデータとの相違について,共通のトレーニングフレームワークを用いて検討する。
表現の大きさの違いがプライバシの脆弱性とどのように関連しているかを特定し、この相関がプライバシの脆弱性に与える影響に対処する。
本研究では,サターンリング分類モジュール (SRCM) を提案する。
限定的かつ効果的な表現空間を通じて、一般化性を維持しながらモデルのプライバシの脆弱性を改善する。
この作業のコードは以下の通りである。 \url{https://github.com/JEKimLab/AIES2024_SRCM}
関連論文リスト
- PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。
送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。
我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
論文 参考訳(メタデータ) (2024-07-12T03:18:08Z) - A Method to Facilitate Membership Inference Attacks in Deep Learning Models [5.724311218570013]
我々は,従来の技術よりも厳格に強力な新たな会員推論攻撃を実演する。
私たちの攻撃は、敵がすべてのトレーニングサンプルを確実に識別する権限を与えます。
これらのモデルは、共通の会員プライバシー監査の下で、増幅された会員リークを効果的に偽装できることを示す。
論文 参考訳(メタデータ) (2024-07-02T03:33:42Z) - Tighter Privacy Auditing of DP-SGD in the Hidden State Threat Model [40.4617658114104]
我々は,DP-SGDなどの個人的敵を通じて,機械学習モデルをプライバシ保証でトレーニングできることを実証した。
我々は、この手法が隠れ状態モデルを監査する以前の試みよりいかに優れているかを実証する。
論文 参考訳(メタデータ) (2024-05-23T11:38:38Z) - Advancing the Robustness of Large Language Models through Self-Denoised Smoothing [50.54276872204319]
大規模言語モデル(LLM)は大きな成功を収めたが、敵の摂動に対する脆弱性は大きな懸念を引き起こしている。
本稿では,LLMのマルチタスク特性を活用して,まずノイズの入力を識別し,次にこれらの復号化バージョンに基づいて予測を行う。
LLMのロバスト性を高めるために個別のモデルを訓練する必要がある従来のコンピュータビジョンのスムース化技術とは異なり、本手法は効率と柔軟性を著しく向上させる。
論文 参考訳(メタデータ) (2024-04-18T15:47:00Z) - Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。
被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。
我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
論文 参考訳(メタデータ) (2024-04-01T16:50:54Z) - Membership Inference Attacks and Privacy in Topic Modeling [3.9379577980832843]
トレーニングデータのメンバーを確実に識別できるトピックモデルに対する攻撃を提案する。
本稿では,DP語彙選択を前処理ステップとして組み込んだプライベートトピックモデリングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-07T12:43:42Z) - PAC Privacy Preserving Diffusion Models [6.299952353968428]
拡散モデルは、高いプライバシーと視覚的品質の両方で画像を生成することができる。
しかし、特定のデータ属性の民営化において堅牢な保護を確保するといった課題が発生する。
PACプライバシー保護拡散モデル(PAC Privacy Preserving Diffusion Model)を導入する。
論文 参考訳(メタデータ) (2023-12-02T18:42:52Z) - Can Language Models be Instructed to Protect Personal Information? [30.187731765653428]
シミュレーションシナリオにおいて、モデルが特定の個人情報のカテゴリを保護するように指示されたとき、プライバシ/ユーティリティトレードオフを評価するためのベンチマークであるPrivQAを紹介します。
我々は,テキストや画像入力による単純なジェイルブレイク手法により,敵が容易にこれらの保護を回避できることを見出した。
PrivQAは、プライバシー保護を改善した新しいモデルの開発と、これらの保護の敵意的な堅牢性をサポートする可能性があると考えています。
論文 参考訳(メタデータ) (2023-10-03T17:30:33Z) - Membership Inference Attacks against Synthetic Data through Overfitting
Detection [84.02632160692995]
我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。
生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
論文 参考訳(メタデータ) (2023-02-24T11:27:39Z) - RelaxLoss: Defending Membership Inference Attacks without Losing Utility [68.48117818874155]
より達成可能な学習目標を持つ緩和された損失に基づく新しい学習フレームワークを提案する。
RelaxLossは、簡単な実装と無視可能なオーバーヘッドのメリットを加えた任意の分類モデルに適用できる。
当社のアプローチはMIAに対するレジリエンスの観点から,常に最先端の防御機構より優れています。
論文 参考訳(メタデータ) (2022-07-12T19:34:47Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳(メタデータ) (2022-04-15T22:36:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。