論文の概要: Breaking the Chain of Gradient Leakage in Vision Transformers

• arxiv url: http://arxiv.org/abs/2205.12551v1
• Date: Wed, 25 May 2022 07:56:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-27 08:10:14.026887
• Title: Breaking the Chain of Gradient Leakage in Vision Transformers
• Title（参考訳）: 視覚変換器におけるグラディエント漏洩鎖の破壊
• Authors: Yahui Liu, Bin Ren, Yue Song, Wei Bi, Nicu Sebe, Wei Wang
• Abstract要約: 視覚変換器(ViT)は勾配に基づく逆攻撃に弱いことが判明した。 位置埋め込み(PE)における学習された低次元空間先行が,ViTのトレーニングを加速することを示す。 本稿では,ViTsにおける勾配リークの連鎖を断ち切るため,単純かつ効率的なMasked Jigsaw Puzzle (MJP)法を提案する。
• 参考スコア（独自算出の注目度）: 72.91007344789222
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: User privacy is of great concern in Federated Learning, while Vision Transformers (ViTs) have been revealed to be vulnerable to gradient-based inversion attacks. We show that the learned low-dimensional spatial prior in position embeddings (PEs) accelerates the training of ViTs. As a side effect, it makes the ViTs tend to be position sensitive and at high risk of privacy leakage. We observe that enhancing the position-insensitive property of a ViT model is a promising way to protect data privacy against these gradient attacks. However, simply removing the PEs may not only harm the convergence and accuracy of ViTs but also places the model at more severe privacy risk. To deal with the aforementioned contradiction, we propose a simple yet efficient Masked Jigsaw Puzzle (MJP) method to break the chain of gradient leakage in ViTs. MJP can be easily plugged into existing ViTs and their derived variants. Extensive experiments demonstrate that our proposed MJP method not only boosts the performance on large-scale datasets (i.e., ImageNet-1K), but can also improve the privacy preservation capacity in the typical gradient attacks by a large margin. Our code is available at: https://github.com/yhlleo/MJP.
• Abstract（参考訳）: ユーザプライバシはフェデレートラーニングにおいて大きな関心事である一方、ViT(Vision Transformer)は勾配ベースのインバージョンアタックに対して脆弱であることが判明している。 位置埋め込み(PE)における学習された低次元空間先行は、ViTの訓練を加速することを示す。 副作用として、ViTは位置を敏感にし、プライバシー漏洩のリスクが高い傾向にある。 vitモデルの位置非感受性の強化は、これらの勾配攻撃からデータプライバシを保護するための有望な方法である。 しかし、単にPEを削除すれば、ViTの収束と精度を損なうだけでなく、より深刻なプライバシーリスクに陥る可能性がある。 上記の矛盾に対処するために,vitsにおける勾配漏洩の連鎖を破る簡易かつ効率的なマスクジグソーパズル(mjp)法を提案する。 MJP は既存の ViT とその派生型に簡単に接続できる。 広範な実験により,提案手法は大規模データセット(imagenet-1k)の性能を向上させるだけでなく,典型的な勾配攻撃におけるプライバシ保護能力も大きく向上することを示した。 私たちのコードは、https://github.com/yhlleo/mjpで利用可能です。

関連論文リスト

• Transformer based Pluralistic Image Completion with Reduced Information Loss [72.92754600354199]
  トランスフォーマーをベースとした手法は,近年,イメージインペイントにおいて大きな成功を収めている。 彼らは各ピクセルをトークンとみなし、情報損失の問題に悩まされる。 我々はPUTと呼ばれる新しいトランスフォーマーベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-31T01:20:16Z)
• Attention Map Guided Transformer Pruning for Edge Device [98.42178656762114]
  視覚トランスフォーマー (ViT) は, 全体的かつ隠蔽された人物再識別 (Re-ID) タスクにおいて, 有望な成功を収めた。 本稿では、冗長なトークンとヘッドの両方を除去する新しいアテンションマップガイド(AMG)トランスフォーマープルーニング法を提案する。 Occluded DukeMTMC と Market-1501 に関する総合的な実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-04-04T01:51:53Z)
• AdPE: Adversarial Positional Embeddings for Pretraining Vision Transformers via MAE+ [44.856035786948915]
  本稿では,前訓練型視覚変換器に対するAdPE (Adversarial Positional Embedding) アプローチを提案する。 AdPEは位置エンコーディングを摂動することで局所的な視覚構造を歪ませる。 実験により,本手法はMAEの微調整精度を向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-03-14T02:42:01Z)
• PMP: Privacy-Aware Matrix Profile against Sensitive Pattern Inference for Time Series [12.855499575586753]
  本稿では,長文パターンに対する悪質な推論の防止という,新たなプライバシ保護問題を提案する。 マトリックスプロファイル(MP)は具体的な形状の漏洩を防止できるが,MPインデックスの正準相関はなおも感度の高い長パターンの位置を明らかにすることができる。 局所相関を摂動し,MPインデックスベクトルの正準相関を破るPMP(Privacy-Aware Matrix Profile)を提案する。
  論文  参考訳（メタデータ） (2023-01-04T22:11:38Z)
• Vicinity Vision Transformer [53.43198716947792]
  線形複雑度を有する視覚変換器に局所性バイアスを導入するビシニティ注意法を提案する。 提案手法は,従来の手法よりも50%少ないパラメータで,最先端の画像分類精度を実現する。
  論文  参考訳（メタデータ） (2022-06-21T17:33:53Z)
• Reduce Information Loss in Transformers for Pluralistic Image Inpainting [112.50657646357494]
  入力情報を可能な限り保持するための新しいトランスフォーマーベースのフレームワーク"PUT"を提案する。 PUTは、特に大きなマスキング領域と複雑な大規模データセットにおいて、画像の忠実性に関する最先端の手法を大幅に上回る。
  論文  参考訳（メタデータ） (2022-05-10T17:59:58Z)
• ViTransPAD: Video Transformer using convolution and self-attention for Face Presentation Attack Detection [15.70621878093133]
  顔の提示攻撃検出(PAD)は,顔の生体認証システムに対するスプーフ攻撃を防ぐ重要な手段である。 PADに対する畳み込みニューラルネットワーク(CNN)に基づく多くの研究は、文脈を考慮せずに画像レベルのバイナリタスクとして問題を定式化している。 本研究では,フレーム内の短距離の局所的細部のみに焦点をあてるだけでなく,フレーム上の長距離依存性をキャプチャできる映像ベースの顔PAD(ViTransPAD)を提案する。
  論文  参考訳（メタデータ） (2022-03-03T08:23:20Z)
• Short Range Correlation Transformer for Occluded Person Re-Identification [4.339510167603376]
  PFTと呼ばれる部分的特徴変換器に基づく人物識別フレームワークを提案する。 提案したPFTは3つのモジュールを用いて視覚変換器の効率を向上する。 包括的および包括的再同定データセットに対する実験結果から,提案したPFTネットワークが一貫した性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-01-04T11:12:39Z)
• Rethinking and Improving Relative Position Encoding for Vision Transformer [61.559777439200744]
  リレーショナル位置符号化(RPE)は、トランスフォーマーが入力トークンのシーケンス順序をキャプチャする上で重要である。 画像RPE(iRPE)と呼ばれる2次元画像専用の新しい相対的位置符号化法を提案する。
  論文  参考訳（メタデータ） (2021-07-29T17:55:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。