論文の概要: APRIL: Finding the Achilles' Heel on Privacy for Vision Transformers

• arxiv url: http://arxiv.org/abs/2112.14087v1
• Date: Tue, 28 Dec 2021 10:51:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-30 15:24:13.670388
• Title: APRIL: Finding the Achilles' Heel on Privacy for Vision Transformers
• Title（参考訳）: 4月:視覚トランスフォーマーのプライバシーに関するアキレス腱の発見
• Authors: Jiahao Lu, Xi Sheryl Zhang, Tianli Zhao, Xiangyu He and Jian Cheng
• Abstract要約: フェデレートされた学習フレームワークは一般的に、プライバシーを守るためにトレーニングデータを共有する代わりに、共同作業者に共通のモデルのローカルな勾配更新を共有するように要求する。 Gradient Leakage Attacksに関する以前の研究は、プライベートトレーニングデータが勾配から明らかになることを示した。 APRIL - Attention PRIvacy Leakageを提案する。
• 参考スコア（独自算出の注目度）: 24.46941587056615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning frameworks typically require collaborators to share their local gradient updates of a common model instead of sharing training data to preserve privacy. However, prior works on Gradient Leakage Attacks showed that private training data can be revealed from gradients. So far almost all relevant works base their attacks on fully-connected or convolutional neural networks. Given the recent overwhelmingly rising trend of adapting Transformers to solve multifarious vision tasks, it is highly valuable to investigate the privacy risk of vision transformers. In this paper, we analyse the gradient leakage risk of self-attention based mechanism in both theoretical and practical manners. Particularly, we propose APRIL - Attention PRIvacy Leakage, which poses a strong threat to self-attention inspired models such as ViT. Showing how vision Transformers are at the risk of privacy leakage via gradients, we urge the significance of designing privacy-safer Transformer models and defending schemes.
• Abstract（参考訳）: 連合学習フレームワークは通常、プライバシーを守るためにトレーニングデータを共有するのではなく、共通のモデルの局所的な勾配更新を共有する必要がある。 しかし、Gradient Leakage Attacksに関する以前の研究は、プライベートトレーニングデータが勾配から明らかになることを示した。 これまでのところ、関連するほとんどの作業は、完全に接続されたまたは畳み込みニューラルネットワークに対する攻撃に基づいている。 近年,多彩な視覚課題の解決にトランスフォーマーを採用する傾向が圧倒的に高まっていることから,ビジョントランスフォーマーのプライバシーリスクを調査することは極めて重要である。 本稿では, セルフ・アテンション・ベース・メカニズムの勾配漏洩リスクを理論的, 実用的な方法で解析する。 特に4月 - 注意のプライバシリークは、vitのような自己注意に触発されたモデルにとって大きな脅威となる。 視覚トランスフォーマーが勾配によるプライバシー漏洩のリスクにさらされていることを示すため、プライバシセーフトランスフォーマーモデルの設計と防御スキームの重要さを訴える。

関連論文リスト

• Privacy Backdoors: Enhancing Membership Inference through Poisoning Pre-trained Models [112.48136829374741]
  本稿では、プライバシーバックドア攻撃という新たな脆弱性を明らかにします。 被害者がバックドアモデルに微調整を行った場合、トレーニングデータは通常のモデルに微調整された場合よりも大幅に高い速度でリークされる。 我々の発見は、機械学習コミュニティにおける重要なプライバシー上の懸念を浮き彫りにし、オープンソースの事前訓練モデルの使用における安全性プロトコルの再評価を求めている。
  論文  参考訳（メタデータ） (2024-04-01T16:50:54Z)
• Privacy Backdoors: Stealing Data with Corrupted Pretrained Models [23.54726973460633]
  実践者は、オープンリポジトリからトレーニング済みの機械学習モデルをダウンロードして、特定のアプリケーションに適合するように微調整する。 このプラクティスによって、プライバシーバックドアの新たなリスクがもたらされることが示されています。 トランスフォーマーを含む、さまざまなモデルのプライバシバックドアを構築する方法を紹介します。
  論文  参考訳（メタデータ） (2024-03-30T20:43:53Z)
• I can't see it but I can Fine-tune it: On Encrypted Fine-tuning of Transformers using Fully Homomorphic Encryption [5.12893315783096]
  BlindTunerは、画像分類のための同型暗号化データのみを対象としたトランスフォーマートレーニングを可能にする、プライバシー保護のための微調整システムである。 以上の結果から,従来よりも1.5倍から600倍の速度向上が見られた。
  論文  参考訳（メタデータ） (2024-02-14T10:15:43Z)
• Pre-trained Trojan Attacks for Visual Recognition [106.13792185398863]
  PVM(Pre-trained Vision Model)は、下流タスクを微調整する際、例外的なパフォーマンスのため、主要なコンポーネントとなっている。 本稿では,PVMにバックドアを埋め込んだトロイの木馬攻撃を提案する。 バックドア攻撃の成功において、クロスタスクアクティベーションとショートカット接続がもたらす課題を強調します。
  論文  参考訳（メタデータ） (2023-12-23T05:51:40Z)
• Understanding Deep Gradient Leakage via Inversion Influence Functions [53.1839233598743]
  Deep Gradient Leakage (DGL)は、勾配ベクトルからプライベートトレーニングイメージを復元する非常に効果的な攻撃である。 得られた画像とプライベート勾配との間の閉形式接続を確立する新しいインバージョンインフルエンス関数(I$2$F)を提案する。 I$2$Fは、一般的に異なるモデルアーキテクチャ、データセット、アタック実装、摂動に基づく防御に基づいてDGLを効果的に近似したことを実証的に実証した。
  論文  参考訳（メタデータ） (2023-09-22T17:26:24Z)
• Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
  フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。 近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。 本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
  論文  参考訳（メタデータ） (2023-09-14T03:48:27Z)
• TeD-SPAD: Temporal Distinctiveness for Self-supervised Privacy-preservation for video Anomaly Detection [59.04634695294402]
  人間の監視のないビデオ異常検出(VAD)は複雑なコンピュータビジョンタスクである。 VADのプライバシー漏洩により、モデルは人々の個人情報に関連する不必要なバイアスを拾い上げ、増幅することができる。 本稿では,視覚的プライベート情報を自己管理的に破壊する,プライバシーに配慮したビデオ異常検出フレームワークTeD-SPADを提案する。
  論文  参考訳（メタデータ） (2023-08-21T22:42:55Z)
• RecUP-FL: Reconciling Utility and Privacy in Federated Learning via User-configurable Privacy Defense [9.806681555309519]
  フェデレートラーニング(FL)は、クライアントがプライベートデータを共有せずに、協力的にモデルをトレーニングすることを可能にする。 近年の研究では、共有勾配によってプライベート情報が漏洩する可能性があることが示されている。 本稿では、ユーザ指定の機密属性により焦点を絞ることができる、ユーザ設定可能なプライバシ保護(RecUP-FL)を提案する。
  論文  参考訳（メタデータ） (2023-04-11T10:59:45Z)
• How Does a Deep Learning Model Architecture Impact Its Privacy? A Comprehensive Study of Privacy Attacks on CNNs and Transformers [18.27174440444256]
  プライバシー上の懸念は、トレーニングデータから機密情報が漏洩する可能性があるためである。 最近の研究によると、ディープラーニングモデルはさまざまなプライバシー攻撃に弱い。
  論文  参考訳（メタデータ） (2022-10-20T06:44:37Z)
• Privacy Threats Analysis to Secure Federated Learning [34.679990191199224]
  産業レベルのフェデレーション学習フレームワークにおけるプライバシの脅威をセキュアな計算で分析する。 我々は,攻撃者が被害者のプライベート入力全体を逆転させることが可能であるという理論的分析を通して示す。
  論文  参考訳（メタデータ） (2021-06-24T15:02:54Z)
• Privacy and Robustness in Federated Learning: Attacks and Defenses [74.62641494122988]
  このトピックに関する最初の包括的な調査を実施します。 FLの概念の簡潔な紹介と、1脅威モデル、2堅牢性に対する中毒攻撃と防御、3プライバシーに対する推論攻撃と防御、というユニークな分類学を通じて、私たちはこの重要なトピックのアクセス可能なレビューを提供します。
  論文  参考訳（メタデータ） (2020-12-07T12:11:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。