論文の概要: GradViT: Gradient Inversion of Vision Transformers

• arxiv url: http://arxiv.org/abs/2203.11894v2
• Date: Wed, 23 Mar 2022 18:14:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-25 11:17:00.742200
• Title: GradViT: Gradient Inversion of Vision Transformers
• Title（参考訳）: GradViT: 視覚変換器のグラディエントインバージョン
• Authors: Ali Hatamizadeh, Hongxu Yin, Holger Roth, Wenqi Li, Jan Kautz, Daguang Xu and Pavlo Molchanov
• Abstract要約: 我々は,視力変換器(ViT)の勾配に基づく逆攻撃に対する脆弱性を実証する。 自然に見える画像にランダムノイズを最適化するGradViTという手法を提案する。 元の(隠された)データに対する前例のない高い忠実さと近接性を観察する。
• 参考スコア（独自算出の注目度）: 83.54779732309653
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this work we demonstrate the vulnerability of vision transformers (ViTs) to gradient-based inversion attacks. During this attack, the original data batch is reconstructed given model weights and the corresponding gradients. We introduce a method, named GradViT, that optimizes random noise into naturally looking images via an iterative process. The optimization objective consists of (i) a loss on matching the gradients, (ii) image prior in the form of distance to batch-normalization statistics of a pretrained CNN model, and (iii) a total variation regularization on patches to guide correct recovery locations. We propose a unique loss scheduling function to overcome local minima during optimization. We evaluate GadViT on ImageNet1K and MS-Celeb-1M datasets, and observe unprecedentedly high fidelity and closeness to the original (hidden) data. During the analysis we find that vision transformers are significantly more vulnerable than previously studied CNNs due to the presence of the attention mechanism. Our method demonstrates new state-of-the-art results for gradient inversion in both qualitative and quantitative metrics. Project page at https://gradvit.github.io/.
• Abstract（参考訳）: 本研究は,視力変換器(ViT)の勾配型逆転攻撃に対する脆弱性を実証する。 この攻撃の間、元のデータバッチはモデル重みと対応する勾配によって再構成される。 そこで本研究では,自然に見える画像にランダムノイズを最適化するGradViTを提案する。 最適化の目的は (i)勾配の一致による損失 (ii)事前訓練されたcnnモデルのバッチ正規化統計量と距離の形で先行する画像、及び (iii)適切な回復場所を導くパッチの総変動正規化。 最適化時に局所最小化を克服する一意な損失スケジューリング関数を提案する。 我々は、ImageNet1KおよびMS-Celeb-1Mデータセット上でGadViTを評価し、元の(隠された)データに対する前例のない高い忠実性と近接性を観測した。 分析中、視覚トランスフォーマーは注意機構の存在により、以前研究したcnnよりも著しく脆弱であることが判明した。 本手法は,定性的,定量的両指標の勾配インバージョンのための新しい最先端結果を示す。 プロジェクトページ: https://gradvit.github.io/

関連論文リスト

• Causal Transformer for Fusion and Pose Estimation in Deep Visual Inertial Odometry [1.2289361708127877]
  深部視覚-慣性眼振におけるポーズ推定のための因果的視覚-慣性融合変換器 (VIFT) を提案する。 提案手法はエンドツーエンドのトレーニングが可能であり,単眼カメラとIMUのみを必要とする。
  論文  参考訳（メタデータ） (2024-09-13T12:21:25Z)
• Image-level Regression for Uncertainty-aware Retinal Image Segmentation [3.7141182051230914]
  我々は,新たな不確実性認識変換(SAUNA)を導入する。 以上の結果から,SAUNA変換の統合とセグメント化損失は,異なるセグメンテーションモデルにおいて大きな性能向上をもたらすことが示唆された。
  論文  参考訳（メタデータ） (2024-05-27T04:17:10Z)
• PriViT: Vision Transformers for Fast Private Inference [55.36478271911595]
  Vision Transformer (ViT) アーキテクチャは、コンピュータビジョンアプリケーションのための最先端のディープモデルのバックボーンとして登場した。 ViTは、多くの非ポリノミカル操作のため、セキュアなマルチパーティプロトコルを使用したプライベート推論には適していない。 予測精度を維持しつつ,ViTの非線形性を選択的に"テイラー化"するアルゴリズムであるPriViTを提案する。
  論文  参考訳（メタデータ） (2023-10-06T21:45:05Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Dataset Distillation with Convexified Implicit Gradients [69.16247946639233]
  メタ段階更新の計算に暗黙の勾配を効果的に利用できるかを示す。 さらに,凍結した有限幅ニューラルネットワーク上での学習に対応する凸近似をアルゴリズムに装備する。
  論文  参考訳（メタデータ） (2023-02-13T23:53:16Z)
• Image Restoration by Deep Projected GSURE [115.57142046076164]
  Ill-posed inverse problem は、デブロアリングや超解像など、多くの画像処理アプリケーションに現れる。 本稿では,一般化されたSteinUnbiased Risk Estimator(GSURE)の「投影変換」とCNNによる潜在画像のパラメータ化を含む損失関数の最小化に基づく,新たな画像復元フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-04T08:52:46Z)
• Image Inpainting with Learnable Feature Imputation [8.293345261434943]
  正規畳み込み層は、未知の領域にフィルターを適用するのと同じ方法で、塗装された画像の視覚的アーティファクトを引き起こす。 本稿では,欠落した入力値の畳み込みに対する(階層的な)特徴計算を提案する。 我々はCelebA-HQとPlaces2を比較し,そのモデルを検証する。
  論文  参考訳（メタデータ） (2020-11-02T16:05:32Z)
• Domain-invariant Similarity Activation Map Contrastive Learning for Retrieval-based Long-term Visual Localization [30.203072945001136]
  本研究では,多領域画像変換による領域不変特徴抽出のために,確率論的に一般アーキテクチャを定式化する。 そして、より精密な局所化のために、新しい勾配重み付き類似性活性化写像損失(Grad-SAM)を組み込んだ。 CMUSeasonsデータセットにおける提案手法の有効性を検証するために大規模な実験が行われた。 我々の性能は、最先端のイメージベースのローカライゼーションベースラインを中あるいは高精度で上回るか、あるいは上回る。
  論文  参考訳（メタデータ） (2020-09-16T14:43:22Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Transformation Based Deep Anomaly Detection in Astronomical Images [0.0]
  天文画像の異常検出に有用な新しいフィルタベース変換を提案する。 また、変換の区別不可能なペアを見つけることができる変換選択戦略を提案する。 これらのモデルは、HiTS(High Cadence Transient Survey)とZTF(Zwicky Transient Facility)のデータセットから得られた天文学的な画像でテストされた。
  論文  参考訳（メタデータ） (2020-05-15T21:02:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。