論文の概要: How Does a Deep Learning Model Architecture Impact Its Privacy?

• arxiv url: http://arxiv.org/abs/2210.11049v1
• Date: Thu, 20 Oct 2022 06:44:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 13:11:24.801208
• Title: How Does a Deep Learning Model Architecture Impact Its Privacy?
• Title（参考訳）: ディープラーニングモデルアーキテクチャはプライバシにどのように影響するか?
• Authors: Guangsheng Zhang, Bo Liu, Huan Tian, Tianqing Zhu, Ming Ding, Wanlei Zhou
• Abstract要約: 最近の研究では、ディープラーニングモデルは様々なプライバシー攻撃に弱いことが示されている。 本稿では,モデルアーキテクチャがモデルプライバシに影響を及ぼすか?
• 参考スコア（独自算出の注目度）: 19.023481639572626
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As a booming research area in the past decade, deep learning technologies have been driven by big data collected and processed on an unprecedented scale. However, the sensitive information in the collected training data raises privacy concerns. Recent research indicated that deep learning models are vulnerable to various privacy attacks, including membership inference attacks, attribute inference attacks, and gradient inversion attacks. It is noteworthy that the performance of the attacks varies from model to model. In this paper, we conduct empirical analyses to answer a fundamental question: Does model architecture affect model privacy? We investigate several representative model architectures from CNNs to Transformers, and show that Transformers are generally more vulnerable to privacy attacks than CNNs. We further demonstrate that the micro design of activation layers, stem layers, and bias parameters, are the major reasons why CNNs are more resilient to privacy attacks than Transformers. We also find that the presence of attention modules is another reason why Transformers are more vulnerable to privacy attacks. We hope our discovery can shed some new light on how to defend against the investigated privacy attacks and help the community build privacy-friendly model architectures.
• Abstract（参考訳）: 過去10年間の急成長する研究分野として、ディープラーニング技術は前例のない規模で収集・処理されたビッグデータによって推進されてきた。 しかし、収集したトレーニングデータのセンシティブな情報はプライバシーの懸念を引き起こす。 最近の研究では、ディープラーニングモデルは、メンバシップ推論攻撃、属性推論攻撃、勾配反転攻撃など、さまざまなプライバシ攻撃に弱いことが示されている。 特筆すべきは、攻撃の性能がモデルによって異なることである。 本稿では,モデルアーキテクチャがモデルプライバシに影響を及ぼすか? CNNからTransformerへのいくつかの代表的モデルアーキテクチャを調査し、Transformerは一般的にCNNよりもプライバシー攻撃に弱いことを示す。 さらに、アクティベーション層、ステム層、バイアスパラメータのマイクロ設計が、トランスフォーマーよりもCNNがプライバシ攻撃に耐性がある主な理由であることを示す。 また、注意モジュールの存在が、Transformerがプライバシー攻撃に弱い理由でもあることもわかりました。 われわれの発見が、調査対象のプライバシー攻撃を防ぎ、コミュニティがプライバシーに親しみやすいモデルアーキテクチャを構築するのに役立つことを願っている。

関連論文リスト

• Model Inversion Attacks: A Survey of Approaches and Countermeasures [59.986922963781]
  近年、新しいタイプのプライバシ攻撃であるモデル反転攻撃(MIA)は、トレーニングのためのプライベートデータの機密性を抽出することを目的としている。 この重要性にもかかわらず、総合的な概要とMIAに関する深い洞察を提供する体系的な研究が欠如している。 本調査は、攻撃と防御の両方において、最新のMIA手法を要約することを目的としている。
  論文  参考訳（メタデータ） (2024-11-15T08:09:28Z)
• New Emerged Security and Privacy of Pre-trained Model: a Survey and Outlook [54.24701201956833]
  セキュリティとプライバシーの問題は、事前訓練されたモデルに対するユーザーの信頼を損なう。 現在の文献は、事前訓練されたモデルに対する攻撃と防御の明確な分類を欠いている。 この分類法は、攻撃と防御をNo-Change、Input-Change、Model-Changeアプローチに分類する。
  論文  参考訳（メタデータ） (2024-11-12T10:15:33Z)
• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• BrainLeaks: On the Privacy-Preserving Properties of Neuromorphic Architectures against Model Inversion Attacks [3.4673556247932225]
  従来の人工知能ニューラルネットワーク(ANN)は、機密データを漏洩する可能性のあるいくつかの攻撃に対して脆弱であることがわかった。 我々の研究は、スパイキングニューラルネットワーク(SNN)の差別化不可能な側面が、固有のプライバシー保護特性をもたらすという直感に動機づけられている。 我々は、SNNをターゲットとした、包括的に設計された新しい逆攻撃戦略を開発する。
  論文  参考訳（メタデータ） (2024-02-01T03:16:40Z)
• Beyond Gradient and Priors in Privacy Attacks: Leveraging Pooler Layer Inputs of Language Models in Federated Learning [24.059033969435973]
  本稿では,現代言語モデルのアーキテクチャの脆弱性を狙う2段階のプライバシ攻撃戦略を提案する。 比較実験は、様々なデータセットやシナリオで優れた攻撃性能を示す。 私たちは、大きな言語モデルの設計において、これらの潜在的なプライバシーリスクを認識し、対処するようコミュニティに呼びかけます。
  論文  参考訳（メタデータ） (2023-12-10T01:19:59Z)
• Security and Privacy Challenges in Deep Learning Models [0.0]
  ディープラーニングモデルは、モデルのセキュリティとデータのプライバシを侵害するさまざまな攻撃を受けることができる。 モデル抽出攻撃、モデル反転攻撃、および敵攻撃について論じる。 データ中毒攻撃は、トレーニングセットに有害なデータを追加し、学習プロセスを中断し、ディープラーニングモードの信頼性を低下させる。
  論文  参考訳（メタデータ） (2023-11-23T00:26:14Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)
• Privacy and Robustness in Federated Learning: Attacks and Defenses [74.62641494122988]
  このトピックに関する最初の包括的な調査を実施します。 FLの概念の簡潔な紹介と、1脅威モデル、2堅牢性に対する中毒攻撃と防御、3プライバシーに対する推論攻撃と防御、というユニークな分類学を通じて、私たちはこの重要なトピックのアクセス可能なレビューを提供します。
  論文  参考訳（メタデータ） (2020-12-07T12:11:45Z)
• Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
  モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。 本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。 実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-10-08T16:20:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。