論文の概要: CertViT: Certified Robustness of Pre-Trained Vision Transformers

• arxiv url: http://arxiv.org/abs/2302.10287v1
• Date: Wed, 1 Feb 2023 06:09:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-26 14:28:31.298481
• Title: CertViT: Certified Robustness of Pre-Trained Vision Transformers
• Title（参考訳）: certvit: 事前訓練された視覚トランスフォーマーのロバスト性
• Authors: Kavya Gupta and Sagar Verma
• Abstract要約: Lipschitzのバウンドニューラルネットワークは、確実に堅牢であり、クリーンと認定の正確性の間に良いトレードオフがある。 既存のリプシッツ境界法は、スクラッチから訓練され、適度な大きさのネットワークに制限されている。 CertViTネットワークは、最先端のリプシッツ訓練ネットワークよりも精度が高いことを示す。
• 参考スコア（独自算出の注目度）: 11.880271015435582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lipschitz bounded neural networks are certifiably robust and have a good trade-off between clean and certified accuracy. Existing Lipschitz bounding methods train from scratch and are limited to moderately sized networks (< 6M parameters). They require a fair amount of hyper-parameter tuning and are computationally prohibitive for large networks like Vision Transformers (5M to 660M parameters). Obtaining certified robustness of transformers is not feasible due to the non-scalability and inflexibility of the current methods. This work presents CertViT, a two-step proximal-projection method to achieve certified robustness from pre-trained weights. The proximal step tries to lower the Lipschitz bound and the projection step tries to maintain the clean accuracy of pre-trained weights. We show that CertViT networks have better certified accuracy than state-of-the-art Lipschitz trained networks. We apply CertViT on several variants of pre-trained vision transformers and show adversarial robustness using standard attacks. Code : https://github.com/sagarverma/transformer-lipschitz
• Abstract（参考訳）: Lipschitzのバウンドニューラルネットワークは、確実に堅牢であり、クリーンと認定の正確性の間に良いトレードオフがある。 既存のリプシッツバウンディングメソッドはスクラッチからトレーニングされ、適度なサイズのネットワーク (6mパラメータ) に限定されている。 それらはかなりの量のハイパーパラメータチューニングを必要とし、ビジョントランスフォーマー(5Mから660Mパラメータ)のような大規模ネットワークでは計算が禁じられている。 変圧器のロバスト性が保証されることは、現在の方法の非スカラビリティと非フレキシビリティのため実現不可能である。 本研究では,2段階の近近射影法であるCertViTを提案する。 近位ステップはリプシッツ結合を下げ、投影ステップは事前訓練された重みのクリーンな精度を維持しようとする。 CertViTネットワークは、最先端のLipschitzトレーニングネットワークよりも精度が高いことを示す。 我々は、CertViTを事前訓練された視覚変換器の様々な変種に適用し、標準攻撃による敵の堅牢性を示す。 コード: https://github.com/sagarverma/transformer-lipschitz

関連論文リスト

• Certifying Adapters: Enabling and Enhancing the Certification of Classifier Adversarial Robustness [21.394217131341932]
  本稿では,対向ロバスト性の証明を可能にする新しい認証アダプタフレームワーク(CAF)を提案する。 CAFは、ランダムまたは復号化スムーシングに基づく手法と比較して、認証精度の向上を実現している。 アダプタのアンサンブルにより、1つの事前訓練された特徴抽出器は、様々なノイズ摂動スケールに対して防御することができる。
  論文  参考訳（メタデータ） (2024-05-25T03:18:52Z)
• PriViT: Vision Transformers for Fast Private Inference [55.36478271911595]
  Vision Transformer (ViT) アーキテクチャは、コンピュータビジョンアプリケーションのための最先端のディープモデルのバックボーンとして登場した。 ViTは、多くの非ポリノミカル操作のため、セキュアなマルチパーティプロトコルを使用したプライベート推論には適していない。 予測精度を維持しつつ,ViTの非線形性を選択的に"テイラー化"するアルゴリズムであるPriViTを提案する。
  論文  参考訳（メタデータ） (2023-10-06T21:45:05Z)
• LipsFormer: Introducing Lipschitz Continuity to Vision Transformers [15.568629066375971]
  リプシッツ連続変換器(LipsFormer)を提案する。 実験の結果,LipsFormerは学習率調整を必要とせずに,深層トランスフォーマーアーキテクチャの安定したトレーニングを可能にすることがわかった。 CSwinをベースとしたLipsFormer-CSwin-Tinyは、300エポックのトレーニングで4.7GのFLOPと24Mのパラメータでトップ-1の精度が83.5%に達した。
  論文  参考訳（メタデータ） (2023-04-19T17:59:39Z)
• Rethinking Lipschitz Neural Networks for Certified L-infinity Robustness [33.72713778392896]
  我々はブール関数を表す新しい視点から、認証された$ell_infty$について研究する。 我々は、先行研究を一般化する統一的なリプシッツネットワークを開発し、効率的に訓練できる実用的なバージョンを設計する。
  論文  参考訳（メタデータ） (2022-10-04T17:55:27Z)
• Smooth-Reduce: Leveraging Patches for Improved Certified Robustness [100.28947222215463]
  本研究では,Smooth-Reduce の学習自由な修正スムース化手法を提案する。 提案アルゴリズムは,入力画像から抽出した重なり合うパッチを分類し,予測ロジットを集約して,入力周辺の半径が大きいことを証明する。 我々は,このような証明書の理論的保証を提供し,他のランダムな平滑化手法に対する顕著な改善を実証的に示す。
  論文  参考訳（メタデータ） (2022-05-12T15:26:20Z)
• Towards Practical Certifiable Patch Defense with Vision Transformer [34.00374565048962]
  視覚変換器(ViT)を非ランダム化平滑化(DS)の枠組みに導入する。 実世界における効率的な推論と展開のために,我々は,オリジナルViTのグローバルな自己アテンション構造を,孤立バンド単位の自己アテンションに革新的に再構築する。
  論文  参考訳（メタデータ） (2022-03-16T10:39:18Z)
• ViT-P: Rethinking Data-efficient Vision Transformers from Locality [9.515925867530262]
  我々は多焦点アテンションバイアスを導入することにより、畳み込みニューラルネットワークのようなデータ効率を向上する。 十分に訓練されたViTの注意距離にインスパイアされ、我々はViTの自己注意をマルチスケールの局所受容野に制限する。 Cifar100では、私たちのViT-P Baseモデルは、ゼロからトレーニングされた最先端の精度(83.16%)を達成する。
  論文  参考訳（メタデータ） (2022-03-04T14:49:48Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Certified Patch Robustness via Smoothed Vision Transformers [77.30663719482924]
  視覚変換器を用いることで、認証済みのパッチの堅牢性が大幅に向上することを示す。 これらの改善は、視覚変換器が主にマスクされた画像を優雅に扱う能力に起因している。
  論文  参考訳（メタデータ） (2021-10-11T17:44:05Z)
• Second-Order Provable Defenses against Adversarial Attacks [63.34032156196848]
  ネットワークの固有値が有界であれば、凸最適化を用いて$l$ノルムの証明を効率的に計算できることを示す。 認証精度は5.78%,44.96%,43.19%であった。
  論文  参考訳（メタデータ） (2020-06-01T05:55:18Z)
• Robustness Verification for Transformers [165.25112192811764]
  我々はトランスフォーマーのための最初のロバスト性検証アルゴリズムを開発した。 提案手法で計算したロバスト性境界は, 素粒子間境界伝播法で計算したロバスト性境界よりもかなり厳密である。 これらの境界はまた、感情分析における異なる単語の重要性を常に反映しているトランスフォーマーの解釈にも光を当てている。
  論文  参考訳（メタデータ） (2020-02-16T17:16:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。