論文の概要: Footprints of Data in a Classifier: Understanding the Privacy Risks and Solution Strategies

• arxiv url: http://arxiv.org/abs/2407.02268v2
• Date: Sat, 12 Apr 2025 08:36:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:46:16.867738
• Title: Footprints of Data in a Classifier: Understanding the Privacy Risks and Solution Strategies
• Title（参考訳）: 分類器におけるデータのフットプリント:プライバシーリスクと解決策戦略を理解する
• Authors: Payel Sadhukhan, Tanujit Chakraborty,
• Abstract要約: 一般データ保護規則(Right Erasure)第17条は、潜在的な妥協を防ぐために、システムから永久にデータを除去することを要求する。 そのような問題の1つは、予測モデルに埋め込まれたトレーニングデータの残余のフットプリントから生じる。 本研究は,分類器システムの2つの基本的な側面 – 訓練品質と分類器訓練方法 – が,プライバシの脆弱性にどのように寄与するかを検討する。
• 参考スコア（独自算出の注目度）: 0.9208007322096533
• License:
• Abstract: The widespread deployment of Artificial Intelligence (AI) across government and private industries brings both advancements and heightened privacy and security concerns. Article 17 of the General Data Protection Regulation (GDPR) mandates the Right to Erasure, requiring data to be permanently removed from a system to prevent potential compromise. While existing research primarily focuses on erasing sensitive data attributes, several passive data compromise mechanisms remain underexplored and unaddressed. One such issue arises from the residual footprints of training data embedded within predictive models. Performance disparities between test and training data can inadvertently reveal which data points were part of the training set, posing a privacy risk. This study examines how two fundamental aspects of classifier systems - training data quality and classifier training methodology - contribute to privacy vulnerabilities. Our theoretical analysis demonstrates that classifiers exhibit universal vulnerability under conditions of data imbalance and distributional shifts. Empirical findings reinforce our theoretical results, highlighting the significant role of training data quality in classifier susceptibility. Additionally, our study reveals that a classifier's operational mechanism and architectural design impact its vulnerability. We further investigate mitigation strategies through data obfuscation techniques and analyze their impact on both privacy and classification performance. To aid practitioners, we introduce a privacy-performance trade-off index, providing a structured approach to balancing privacy protection with model effectiveness. The findings offer valuable insights for selecting classifiers and curating training data in diverse real-world applications.
• Abstract（参考訳）: 政府や民間産業にAI(Artificial Intelligence, 人工知能)が広く普及したことで、プライバシーとセキュリティの懸念が高まっている。 一般データ保護規則(GDPR)第17条は、潜在的な妥協を防ぐために、データをシステムから永久的に取り除くことを義務付けている。 既存の研究は主に機密データ属性の消去に重点を置いているが、いくつかの受動的データ妥協メカニズムは未調査であり、未修正のままである。 そのような問題の1つは、予測モデルに埋め込まれたトレーニングデータの残余のフットプリントから生じる。 テストデータとトレーニングデータのパフォーマンスの相違は、どのデータポイントがトレーニングセットの一部であるかを不注意に明らかにし、プライバシのリスクを生じさせる。 本研究では,分類器システムの2つの基本的な側面 – データ品質のトレーニングと分類器のトレーニング手法 – が,プライバシの脆弱性にどのように寄与するかを検討する。 理論解析により,データ不均衡や分散シフトの条件下では,分類器が普遍的な脆弱性を示すことが示された。 実験結果から,分類器の感受性におけるトレーニングデータ品質の重要性が示唆された。 さらに本研究では,分類器の動作機構とアーキテクチャ設計が脆弱性に影響を及ぼすことを明らかにした。 さらに,データ難読化手法による緩和戦略について検討し,プライバシと分類性能に与える影響について検討する。 実践者を支援するため,プライバシ保護とモデルの有効性のバランスをとるための構造的アプローチとして,プライバシパフォーマンストレードオフ指標を導入する。 この発見は、さまざまな現実世界のアプリケーションで分類器を選択し、トレーニングデータをキュレートするための貴重な洞察を提供する。

関連論文リスト

• FewFedPIT: Towards Privacy-preserving and Few-shot Federated Instruction Tuning [54.26614091429253]
  フェデレーション・インストラクション・チューニング(FedIT)は、複数のデータ所有者間で協調的なトレーニングを統合することで、有望なソリューションである。 FedITは、インストラクショナルデータの不足や、トレーニングデータ抽出攻撃への露出リスクなどの制限に直面している。 本稿では,FewFedPITを提案する。このFewFedPITは,フェデレートされた数ショット学習のプライバシー保護とモデル性能を同時に向上する。
  論文  参考訳（メタデータ） (2024-03-10T08:41:22Z)
• Approximate, Adapt, Anonymize (3A): a Framework for Privacy Preserving Training Data Release for Machine Learning [3.29354893777827]
  データリリースフレームワークである3A(Approximate, Adapt, Anonymize)を導入し、機械学習のデータユーティリティを最大化する。 本稿では,実データセットと民生データセットでトレーニングしたモデルの性能指標の相違が最小限に抑えられることを示す実験的な証拠を示す。
  論文  参考訳（メタデータ） (2023-07-04T18:37:11Z)
• Stop Uploading Test Data in Plain Text: Practical Strategies for Mitigating Data Contamination by Evaluation Benchmarks [70.39633252935445]
  データ汚染は、大規模な自動クロールコーパスで事前訓練されたモデルの台頭によって、普及し、課題となっている。 クローズドモデルの場合、トレーニングデータはトレードシークレットになり、オープンモデルであっても汚染を検出するのは簡単ではない。 1)公開するテストデータを公開鍵で暗号化し,デリバティブ配信を許可する,(2)クローズドAPI保持者からの要求トレーニング排他的コントロールを許可する,(2)評価を拒否してテストデータを保護する,(3)インターネット上のソリューションで表示されるデータを避け,インターネット由来のWebページコンテキストを解放する,という3つの方法を提案する。
  論文  参考訳（メタデータ） (2023-05-17T12:23:38Z)
• Membership Inference Attacks against Synthetic Data through Overfitting Detection [84.02632160692995]
  我々は、攻撃者が基礎となるデータ分布についてある程度の知識を持っていると仮定する現実的なMIA設定について論じる。 生成モデルの局所的なオーバーフィッティングをターゲットとして,メンバシップを推論することを目的とした密度ベースMIAモデルであるDOMIASを提案する。
  論文  参考訳（メタデータ） (2023-02-24T11:27:39Z)
• A Survey on Differential Privacy with Machine Learning and Future Outlook [0.0]
  差分プライバシーは、あらゆる攻撃や脆弱性から機械学習モデルを保護するために使用される。 本稿では,2つのカテゴリに分類される差分プライベート機械学習アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-11-19T14:20:53Z)
• Uncertainty-Autoencoder-Based Privacy and Utility Preserving Data Type Conscious Transformation [3.7315964084413173]
  プライバシ・ユーティリティのトレードオフ問題に対処する逆学習フレームワークを2つの条件で提案する。 データタイプの無知な条件下では、プライバシメカニズムは、正確に1つのクラスを表す、カテゴリ機能の1ホットエンコーディングを提供する。 データ型認識条件下では、分類変数は各クラスごとに1つのスコアの集合で表される。
  論文  参考訳（メタデータ） (2022-05-04T08:40:15Z)
• Towards a Data Privacy-Predictive Performance Trade-off [2.580765958706854]
  分類タスクにおけるデータプライバシと予測性能のトレードオフの存在を評価する。 従来の文献とは異なり、プライバシーのレベルが高ければ高いほど、予測性能が向上することを確認した。
  論文  参考訳（メタデータ） (2022-01-13T21:48:51Z)
• Federated Test-Time Adaptive Face Presentation Attack Detection with Dual-Phase Privacy Preservation [100.69458267888962]
  顔提示攻撃検出(fPAD)は、現代の顔認識パイプラインにおいて重要な役割を果たす。 法的およびプライバシー上の問題により、トレーニングデータ(実際の顔画像と偽画像)は、異なるデータソース間で直接共有することはできない。 本稿では,二相プライバシー保護フレームワークを用いたフェデレーションテスト時間適応顔提示検出を提案する。
  論文  参考訳（メタデータ） (2021-10-25T02:51:05Z)
• Privacy-Preserving Federated Learning on Partitioned Attributes [6.661716208346423]
  フェデレーション学習は、ローカルデータやモデルを公開することなく、協調的なトレーニングを促進する。 ローカルモデルをチューニングし、プライバシー保護された中間表現をリリースする逆学習ベースの手順を紹介します。 精度低下を緩和するために,前方後方分割アルゴリズムに基づく防御法を提案する。
  論文  参考訳（メタデータ） (2021-04-29T14:49:14Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)
• Differentially Private and Fair Deep Learning: A Lagrangian Dual Approach [54.32266555843765]
  本稿では,個人の機密情報のプライバシを保護するとともに,非差別的予測器の学習を可能にするモデルについて検討する。 この方法は、微分プライバシーの概念と、公正性制約を満たすニューラルネットワークの設計にラグランジアン双対性(Lagrangian duality)を用いることに依存している。
  論文  参考訳（メタデータ） (2020-09-26T10:50:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。