論文の概要: Real-Time Privacy Risk Measurement with Privacy Tokens for Gradient Leakage

• arxiv url: http://arxiv.org/abs/2502.02913v3
• Date: Fri, 07 Feb 2025 09:10:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 11:34:30.181248
• Title: Real-Time Privacy Risk Measurement with Privacy Tokens for Gradient Leakage
• Title（参考訳）: グラディエントリークのためのプライバシトークンを用いたリアルタイムプライバシリスク計測
• Authors: Jiayang Meng, Tao Huang, Hong Chen, Xin Shi, Qingyu Huang, Chen Hou,
• Abstract要約: プライバシーに敏感なドメインにおけるディープラーニングモデルは、プライバシーリスクに関する懸念を増幅している。 トレーニング中にプライベート勾配から直接導出されるプライバシートークンの概念を提案する。 プライバシートークンは、トレーニングデータからのプライベート情報漏洩の程度に関する貴重な洞察を提供する。 我々は、トレーニングデータと勾配の関係を定量化するために、Mutual Information (MI) をロバストな指標として採用する。
• 参考スコア（独自算出の注目度）: 15.700803673467641
• License:
• Abstract: The widespread deployment of deep learning models in privacy-sensitive domains has amplified concerns regarding privacy risks, particularly those stemming from gradient leakage during training. Current privacy assessments primarily rely on post-training attack simulations. However, these methods are inherently reactive, unable to encompass all potential attack scenarios, and often based on idealized adversarial assumptions. These limitations underscore the need for proactive approaches to privacy risk assessment during the training process. To address this gap, we propose the concept of privacy tokens, which are derived directly from private gradients during training. Privacy tokens encapsulate gradient features and, when combined with data features, offer valuable insights into the extent of private information leakage from training data, enabling real-time measurement of privacy risks without relying on adversarial attack simulations. Additionally, we employ Mutual Information (MI) as a robust metric to quantify the relationship between training data and gradients, providing precise and continuous assessments of privacy leakage throughout the training process. Extensive experiments validate our framework, demonstrating the effectiveness of privacy tokens and MI in identifying and quantifying privacy risks. This proactive approach marks a significant advancement in privacy monitoring, promoting the safer deployment of deep learning models in sensitive applications.
• Abstract（参考訳）: プライバシーに敏感なドメインにディープラーニングモデルを広く配置することは、プライバシーリスク、特にトレーニング中の勾配リークに起因する懸念を増幅している。 現在のプライバシー評価は、主にトレーニング後の攻撃シミュレーションに依存している。 しかしながら、これらの手法は本質的に反応性があり、全ての潜在的な攻撃シナリオを包含することができず、しばしば理想化された敵の仮定に基づいている。 これらの制限は、トレーニングプロセス中にプライバシーリスク評価に対する積極的なアプローチの必要性を浮き彫りにしている。 このギャップに対処するために、トレーニング中にプライベート勾配から直接導かれるプライバシートークンの概念を提案する。 プライバシートークンはグラデーション機能をカプセル化し、データ機能と組み合わせることで、トレーニングデータからプライベート情報漏洩の程度に関する貴重な洞察を提供する。 さらに、トレーニングデータと勾配の関係を定量化するために、相互情報(MI)を堅牢な指標として使用し、トレーニングプロセス全体を通して、プライバシー漏洩の正確かつ継続的な評価を提供する。 大規模な実験により、プライバシーリスクを特定し定量化する上で、プライバシートークンとMIの有効性が実証された。 この前向きなアプローチは、プライバシー監視の大幅な進歩を示し、センシティブなアプリケーションにおけるディープラーニングモデルの安全なデプロイを促進する。

関連論文リスト

• Activity Recognition on Avatar-Anonymized Datasets with Masked Differential Privacy [64.32494202656801]
  プライバシを保存するコンピュータビジョンは、機械学習と人工知能において重要な問題である。 本稿では,ビデオデータセット中の感性のある被験者を文脈内の合成アバターに置き換える匿名化パイプラインを提案する。 また、匿名化されていないがプライバシーに敏感な背景情報を保護するため、MaskDPを提案する。
  論文  参考訳（メタデータ） (2024-10-22T15:22:53Z)
• PrivacyLens: Evaluating Privacy Norm Awareness of Language Models in Action [54.11479432110771]
  PrivacyLensは、プライバシに敏感な種子を表現的なヴィグネットに拡張し、さらにエージェントの軌跡に拡張するために設計された新しいフレームワークである。 プライバシの文献とクラウドソーシングされたシードに基づいて、プライバシの規範のコレクションをインスタンス化する。 GPT-4やLlama-3-70Bのような最先端のLMは、プライバシー強化の指示が出されたとしても、機密情報を25.68%、38.69%のケースでリークしている。
  論文  参考訳（メタデータ） (2024-08-29T17:58:38Z)
• Preserving Privacy in Large Language Models: A Survey on Current Threats and Solutions [12.451936012379319]
  大規模言語モデル(LLM)は、人工知能の大幅な進歩を表し、様々な領域にまたがる応用を見つける。 トレーニングのための大規模なインターネットソースデータセットへの依存は、注目すべきプライバシー問題を引き起こす。 特定のアプリケーション固有のシナリオでは、これらのモデルをプライベートデータで微調整する必要があります。
  論文  参考訳（メタデータ） (2024-08-10T05:41:19Z)
• Collection, usage and privacy of mobility data in the enterprise and public administrations [55.2480439325792]
  個人のプライバシーを守るためには、匿名化などのセキュリティ対策が必要である。 本研究では,現場における実践の洞察を得るために,専門家によるインタビューを行った。 我々は、一般的には最先端の差分プライバシー基準に準拠しない、使用中のプライバシー強化手法を調査した。
  論文  参考訳（メタデータ） (2024-07-04T08:29:27Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• Training Private Models That Know What They Don't Know [40.19666295972155]
  いくつかの一般的な選択的予測手法は、差分的にプライベートな環境では効果がないことがわかった。 モデルユーティリティレベルを越えた選択予測性能を分離する新しい評価機構を提案する。
  論文  参考訳（メタデータ） (2023-05-28T12:20:07Z)
• How Do Input Attributes Impact the Privacy Loss in Differential Privacy? [55.492422758737575]
  DPニューラルネットワークにおけるオブジェクトごとの規範と個人のプライバシ損失との関係について検討する。 プライバシ・ロス・インプット・サセプティビリティ(PLIS)と呼ばれる新しい指標を導入し、被験者のプライバシ・ロスを入力属性に適応させることを可能にした。
  論文  参考訳（メタデータ） (2022-11-18T11:39:03Z)
• On the Privacy Effect of Data Enhancement via the Lens of Memorization [20.63044895680223]
  我々は,記憶化という新たな視点からプライバシを調査することを提案する。 記憶のレンズを通して、以前デプロイされたMIAは、より高いプライバシーリスクを持つサンプルを特定する可能性が低いため、誤解を招く結果をもたらすことがわかった。 一般化ギャップとプライバシリークは, これまでの結果に比べて相関が低いことを示す。
  論文  参考訳（メタデータ） (2022-08-17T13:02:17Z)
• The Privacy Onion Effect: Memorization is Relative [76.46529413546725]
  もっとも脆弱な外接点の"層"を取り除くことで、前もって安全だった点の新たな層を同じ攻撃に晒す。 これは、機械学習のようなプライバシー強化技術が、他のユーザーのプライバシーに悪影響を及ぼす可能性を示唆している。
  論文  参考訳（メタデータ） (2022-06-21T15:25:56Z)
• Systematic Evaluation of Privacy Risks of Machine Learning Models [41.017707772150835]
  メンバーシップ推論攻撃に対する事前の取り組みは、プライバシーリスクを著しく過小評価する可能性があることを示す。 まず、既存の非ニューラルネットワークベースの推論攻撃を改善することで、メンバーシップ推論のプライバシリスクをベンチマークする。 次に、プライバシリスクスコアと呼ばれる新しい指標を定式化し、導出することで、詳細なプライバシ分析のための新しいアプローチを導入する。
  論文  参考訳（メタデータ） (2020-03-24T00:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。