論文の概要: How Does a Deep Learning Model Architecture Impact Its Privacy? A
Comprehensive Study of Privacy Attacks on CNNs and Transformers
- arxiv url: http://arxiv.org/abs/2210.11049v3
- Date: Fri, 2 Feb 2024 08:11:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 20:51:48.123168
- Title: How Does a Deep Learning Model Architecture Impact Its Privacy? A
Comprehensive Study of Privacy Attacks on CNNs and Transformers
- Title(参考訳): ディープラーニングモデルアーキテクチャはプライバシにどのように影響するか?
CNNとトランスフォーマーのプライバシ攻撃に関する総合的研究
- Authors: Guangsheng Zhang, Bo Liu, Huan Tian, Tianqing Zhu, Ming Ding, Wanlei
Zhou
- Abstract要約: プライバシー上の懸念は、トレーニングデータから機密情報が漏洩する可能性があるためである。
最近の研究によると、ディープラーニングモデルはさまざまなプライバシー攻撃に弱い。
- 参考スコア(独自算出の注目度): 18.27174440444256
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As a booming research area in the past decade, deep learning technologies
have been driven by big data collected and processed on an unprecedented scale.
However, privacy concerns arise due to the potential leakage of sensitive
information from the training data. Recent research has revealed that deep
learning models are vulnerable to various privacy attacks, including membership
inference attacks, attribute inference attacks, and gradient inversion attacks.
Notably, the efficacy of these attacks varies from model to model. In this
paper, we answer a fundamental question: Does model architecture affect model
privacy? By investigating representative model architectures from convolutional
neural networks (CNNs) to Transformers, we demonstrate that Transformers
generally exhibit higher vulnerability to privacy attacks than CNNs.
Additionally, we identify the micro design of activation layers, stem layers,
and LN layers, as major factors contributing to the resilience of CNNs against
privacy attacks, while the presence of attention modules is another main factor
that exacerbates the privacy vulnerability of Transformers. Our discovery
reveals valuable insights for deep learning models to defend against privacy
attacks and inspires the research community to develop privacy-friendly model
architectures.
- Abstract(参考訳): 過去10年間の急成長する研究分野として、ディープラーニング技術は前例のない規模で収集・処理されたビッグデータによって推進されてきた。
しかし、プライバシーの懸念は、トレーニングデータから機密情報が漏洩する可能性があるため生じる。
最近の研究では、深層学習モデルは、メンバシップ推論攻撃、属性推論攻撃、勾配反転攻撃など、さまざまなプライバシ攻撃に対して脆弱であることが示されている。
特に、これらの攻撃の有効性はモデルによって異なる。
モデルアーキテクチャはモデルのプライバシに影響を与えますか?
畳み込みニューラルネットワーク(CNN)からトランスフォーマーへの代表モデルアーキテクチャの調査により、トランスフォーマーは一般的に、CNNよりもプライバシー攻撃に対する脆弱性が高いことを示した。
さらに、アクティベーション層、ステム層、LN層のマイクロデザインが、プライバシー攻撃に対するCNNのレジリエンスに寄与する主要な要因であると同時に、アテンションモジュールの存在がトランスフォーマーのプライバシー脆弱性を悪化させるもうひとつの主要な要因である。
私たちの発見は、ディープラーニングモデルがプライバシ攻撃を防ぎ、研究コミュニティにプライバシフレンドリーなモデルアーキテクチャの開発を促すための貴重な洞察を明らかにします。
関連論文リスト
- BrainLeaks: On the Privacy-Preserving Properties of Neuromorphic
Architectures against Model Inversion Attacks [3.8969602416729976]
従来の人工知能ニューラルネットワーク(ANN)は、機密データを漏洩する可能性のあるいくつかの攻撃に対して脆弱であることがわかった。
我々の研究は、スパイキングニューラルネットワーク(SNN)の差別化不可能な側面が、固有のプライバシー保護特性をもたらすという直感に動機づけられている。
我々は、SNNをターゲットとした、包括的に設計された新しい逆攻撃戦略を開発する。
論文 参考訳(メタデータ) (2024-02-01T03:16:40Z) - Beyond Gradient and Priors in Privacy Attacks: Leveraging Pooler Layer
Inputs of Language Models in Federated Learning [27.03994310867473]
本稿では,現代言語モデルのアーキテクチャの脆弱性を狙う2段階のプライバシ攻撃戦略を提案する。
比較実験は、様々なデータセットやシナリオで優れた攻撃性能を示す。
私たちは、大きな言語モデルの設計において、これらの潜在的なプライバシーリスクを認識し、対処するようコミュニティに呼びかけます。
論文 参考訳(メタデータ) (2023-12-10T01:19:59Z) - Reconciling AI Performance and Data Reconstruction Resilience for
Medical Imaging [52.578054703818125]
人工知能(AI)モデルは、トレーニングデータの情報漏洩に対して脆弱であり、非常に敏感である。
差別化プライバシ(DP)は、定量的なプライバシー予算を設定することで、これらの感受性を回避することを目的としている。
非常に大きなプライバシ予算を使用することで、リコンストラクション攻撃は不可能であり、パフォーマンスの低下は無視可能であることを示す。
論文 参考訳(メタデータ) (2023-12-05T12:21:30Z) - Security and Privacy Challenges in Deep Learning Models [0.0]
ディープラーニングモデルは、モデルのセキュリティとデータのプライバシを侵害するさまざまな攻撃を受けることができる。
モデル抽出攻撃、モデル反転攻撃、および敵攻撃について論じる。
データ中毒攻撃は、トレーニングセットに有害なデータを追加し、学習プロセスを中断し、ディープラーニングモードの信頼性を低下させる。
論文 参考訳(メタデータ) (2023-11-23T00:26:14Z) - On the Privacy Effect of Data Enhancement via the Lens of Memorization [20.27379983653372]
我々は,記憶化という新たな視点からプライバシを調査することを提案する。
機械学習モデルの3つの重要な特性間の関係について、非自明な知見を公表する。
論文 参考訳(メタデータ) (2022-08-17T13:02:17Z) - Just Fine-tune Twice: Selective Differential Privacy for Large Language
Models [69.66654761324702]
本稿では,大規模なトランスフォーマーベース言語モデルのためのSDPを実現するための,シンプルで効果的なジャストファイントゥンツースプライバシ機構を提案する。
実験により, カナリア挿入攻撃に対して頑健でありながら, 高い性能が得られた。
論文 参考訳(メタデータ) (2022-04-15T22:36:55Z) - Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。
本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文 参考訳(メタデータ) (2020-12-14T18:59:24Z) - Privacy and Robustness in Federated Learning: Attacks and Defenses [74.62641494122988]
このトピックに関する最初の包括的な調査を実施します。
FLの概念の簡潔な紹介と、1脅威モデル、2堅牢性に対する中毒攻撃と防御、3プライバシーに対する推論攻撃と防御、というユニークな分類学を通じて、私たちはこの重要なトピックのアクセス可能なレビューを提供します。
論文 参考訳(メタデータ) (2020-12-07T12:11:45Z) - Knowledge-Enriched Distributional Model Inversion Attacks [49.43828150561947]
モデルインバージョン(MI)攻撃は、モデルパラメータからトレーニングデータを再構成することを目的としている。
本稿では,パブリックデータからプライベートモデルに対する攻撃を行うのに役立つ知識を抽出する,新しい反転型GANを提案する。
実験の結果,これらの手法を組み合わせることで,最先端MI攻撃の成功率を150%向上させることができることがわかった。
論文 参考訳(メタデータ) (2020-10-08T16:20:48Z) - Measurement-driven Security Analysis of Imperceptible Impersonation
Attacks [54.727945432381716]
本稿では,ディープニューラルネットワークを用いた顔認識システムの実用性について検討する。
皮膚の色,性別,年齢などの要因が,特定の標的に対する攻撃を行う能力に影響を及ぼすことを示す。
また,攻撃者の顔のさまざまなポーズや視点に対して堅牢なユニバーサルアタックを構築する可能性についても検討した。
論文 参考訳(メタデータ) (2020-08-26T19:27:27Z) - Privacy in Deep Learning: A Survey [16.278779275923448]
多くの分野でのディープラーニングの継続的な進歩は、プロダクションシステムにDeep Neural Networks(DNN)の採用につながっている。
大規模なデータセットと高い計算能力がこれらの進歩の主な貢献者である。
このデータはさまざまな脆弱性によって誤用または漏洩される可能性があるため、プライバシー上の深刻な懸念が生じる。
論文 参考訳(メタデータ) (2020-04-25T23:47:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。