論文の概要: Privacy for Rescue: A New Testimony Why Privacy is Vulnerable In Deep Models

• arxiv url: http://arxiv.org/abs/2001.00493v1
• Date: Tue, 31 Dec 2019 15:55:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-16 21:29:35.337689
• Title: Privacy for Rescue: A New Testimony Why Privacy is Vulnerable In Deep Models
• Title（参考訳）: privacy for rescue: ディープモデルでプライバシが脆弱な理由
• Authors: Ruiyuan Gao, Ming Dun, Hailong Yang, Zhongzhi Luan, Depei Qian
• Abstract要約: エッジクラウドシステム実行モデルにおけるプライバシ保護問題の形式的定義を示す。 我々は最先端の手法を分析し、それらの手法の欠点を指摘する。 本稿では,プライバシー保護手法の有効性を評価するために,より正確な2つの指標を提案する。
• 参考スコア（独自算出の注目度）: 6.902994369582068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The huge computation demand of deep learning models and limited computation resources on the edge devices calls for the cooperation between edge device and cloud service by splitting the deep models into two halves. However, transferring the intermediates results from the partial models between edge device and cloud service makes the user privacy vulnerable since the attacker can intercept the intermediate results and extract privacy information from them. Existing research works rely on metrics that are either impractical or insufficient to measure the effectiveness of privacy protection methods in the above scenario, especially from the aspect of a single user. In this paper, we first present a formal definition of the privacy protection problem in the edge-cloud system running DNN models. Then, we analyze the-state-of-the-art methods and point out the drawbacks of their methods, especially the evaluation metrics such as the Mutual Information (MI). In addition, we perform several experiments to demonstrate that although existing methods perform well under MI, they are not effective enough to protect the privacy of a single user. To address the drawbacks of the evaluation metrics, we propose two new metrics that are more accurate to measure the effectiveness of privacy protection methods. Finally, we highlight several potential research directions to encourage future efforts addressing the privacy protection problem.
• Abstract（参考訳）: エッジデバイス上でのディープラーニングモデルと限られた計算リソースの巨大な計算要求は、エッジデバイスとクラウドサービスの連携を、深層モデルを2つに分割することで要求する。 しかし、エッジデバイスとクラウドサービスの間の部分モデルからの中間結果の転送は、攻撃者が中間結果を傍受し、それらからプライバシー情報を抽出できるため、ユーザのプライバシを脆弱にする。 既存の研究は、上記のシナリオにおけるプライバシー保護手法の有効性を測定するために、非実用的または不十分なメトリクスに依存しています。 本稿では,DNNモデルを実行するエッジクラウドシステムにおいて,プライバシ保護問題の形式的定義を示す。 そこで,我々は最先端の手法を分析し,それらの手法の欠点,特に相互情報(MI)などの評価指標を指摘する。 さらに,既存の手法はMI下では良好に動作するが,単一ユーザのプライバシを保護するには十分ではないことを示すために,いくつかの実験を行った。 評価指標の欠点に対処するため,プライバシー保護手法の有効性をより正確に測定する2つの新しい指標を提案する。 最後に,プライバシ保護問題に対する今後の取り組みを促すために,いくつかの研究の方向性を強調する。

関連論文リスト

• Efficient and Private: Memorisation under differentially private parameter-efficient fine-tuning in language models [2.3281513013731145]
  特定のタスクのための微調整された大型言語モデル(LLM)は、不注意に記憶し、センシティブなトレーニングデータを漏洩する可能性があるため、プライバシのリスクをもたらす。 差分プライバシー(DP)は、これらのリスクを軽減するソリューションを提供するが、重大な計算とパフォーマンスのトレードオフをもたらす。 PEFT法は,パラメータを少なくし,プライバシリークを著しく低減しつつ,標準的な微調整に匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2024-11-24T13:17:36Z)
• Model Inversion Attacks: A Survey of Approaches and Countermeasures [59.986922963781]
  近年、新しいタイプのプライバシ攻撃であるモデル反転攻撃(MIA)は、トレーニングのためのプライベートデータの機密性を抽出することを目的としている。 この重要性にもかかわらず、総合的な概要とMIAに関する深い洞察を提供する体系的な研究が欠如している。 本調査は、攻撃と防御の両方において、最新のMIA手法を要約することを目的としている。
  論文  参考訳（メタデータ） (2024-11-15T08:09:28Z)
• On Active Privacy Auditing in Supervised Fine-tuning for White-Box Language Models [7.275432177367344]
  パーシングは、言語モデル(LM)の教師付き微調整中にプライバシー漏洩リスクを特定し定量化するように設計されている。 我々は,GPT-2,Llama2などの大規模LMに対するMIA(White-box Membering Inference attack)の有効性を改善した。 本研究の目的は,LMのSFTコミュニティに対して,信頼性と使用可能なプライバシ監査ツールの提供と,微調整プロセス中のプライバシ保護に関する貴重な洞察を提供することである。
  論文  参考訳（メタデータ） (2024-11-11T15:46:07Z)
• FT-PrivacyScore: Personalized Privacy Scoring Service for Machine Learning Participation [4.772368796656325]
  実際には、制御されたデータアクセスは、多くの産業や研究環境でデータプライバシを保護する主要な方法である。 我々は,FT-PrivacyScoreのプロトタイプを開発し,モデル微調整作業に参加する際のプライバシーリスクを効率よく定量的に推定できることを実証した。
  論文  参考訳（メタデータ） (2024-10-30T02:41:26Z)
• Investigating Privacy Attacks in the Gray-Box Setting to Enhance Collaborative Learning Schemes [7.651569149118461]
  我々は、攻撃者がモデルに限られたアクセスしかできないグレーボックス設定でプライバシ攻撃を研究する。 SmartNNCryptは、同型暗号化を調整して、より高いプライバシーリスクを示すモデルの部分を保護するフレームワークです。
  論文  参考訳（メタデータ） (2024-09-25T18:49:21Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• Hide and Seek (HaS): A Lightweight Framework for Prompt Privacy Protection [6.201275002179716]
  本稿では,H(ide)" と "S(eek)" の2つのコアプロセスとして,匿名化のためのプライベートエンティティの隠蔽と非匿名化のためのプライベートエンティティの検索を行うHaSフレームワークを紹介する。 本研究では,HaSのプライバシー保護性能を定量的に評価するために,ブラックボックスモデルとホワイトボックスモデルの両方を提案する。
  論文  参考訳（メタデータ） (2023-09-06T14:54:11Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• No Free Lunch in "Privacy for Free: How does Dataset Condensation Help Privacy" [75.98836424725437]
  データプライバシを保護するために設計された新しい手法は、慎重に精査する必要がある。 プライバシ保護の失敗は検出し難いが,プライバシ保護法を実装したシステムが攻撃された場合,破滅的な結果につながる可能性がある。
  論文  参考訳（メタデータ） (2022-09-29T17:50:23Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。