論文の概要: Robustness Tokens: Towards Adversarial Robustness of Transformers

• arxiv url: http://arxiv.org/abs/2503.10191v1
• Date: Thu, 13 Mar 2025 09:26:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:55:11.557548
• Title: Robustness Tokens: Towards Adversarial Robustness of Transformers
• Title（参考訳）: ロバストネストークン : 変圧器の逆ロバストネスに向けて
• Authors: Brian Pulfer, Yury Belousov, Slava Voloshynovskiy,
• Abstract要約: 本稿では,従来の逆数学習のようにモデルパラメータをチューニングする代わりに,計算要求の少ない数個のプライベートトークンを微調整する,トランスフォーマーアーキテクチャに特有の新しいアプローチであるRobustness Tokensを提案する。 我々は、ロバストネストークンが、元のダウンストリーム性能を維持しながら、ホワイトボックスの敵攻撃に対して、ビジョントランスフォーマーモデルを著しく堅牢にすることを示す。
• 参考スコア（独自算出の注目度）: 4.913488665159803
• License:
• Abstract: Recently, large pre-trained foundation models have become widely adopted by machine learning practitioners for a multitude of tasks. Given that such models are publicly available, relying on their use as backbone models for downstream tasks might result in high vulnerability to adversarial attacks crafted with the same public model. In this work, we propose Robustness Tokens, a novel approach specific to the transformer architecture that fine-tunes a few additional private tokens with low computational requirements instead of tuning model parameters as done in traditional adversarial training. We show that Robustness Tokens make Vision Transformer models significantly more robust to white-box adversarial attacks while also retaining the original downstream performances.
• Abstract（参考訳）: 近年,多数のタスクに対して,機械学習実践者が事前学習した大規模な基礎モデルを広く採用している。 このようなモデルが公開されていることを考えると、下流タスクのバックボーンモデルとしての利用は、同じパブリックモデルで構築された敵攻撃に対する高い脆弱性をもたらす可能性がある。 本研究では,従来の逆数学習のようにモデルパラメータをチューニングする代わりに,計算要求の少ないいくつかの追加のプライベートトークンを微調整する,トランスフォーマーアーキテクチャに特有の新しいアプローチであるRobustness Tokensを提案する。 我々は、ロバストネストークンが、元のダウンストリーム性能を維持しながら、ホワイトボックスの敵攻撃に対して、ビジョントランスフォーマーモデルを著しく堅牢にすることを示す。

関連論文リスト

• Adversarial Transferability in Deep Denoising Models: Theoretical Insights and Robustness Enhancement via Out-of-Distribution Typical Set Sampling [6.189440665620872]
  深層学習に基づく画像認識モデルは優れた性能を示すが、ロバストネス分析の欠如は依然として重要な懸念点である。 主な問題は、これらのモデルが敵攻撃の影響を受けやすいことである。 本稿では,新たな対人防御手法であるOut-of-Distribution typical Set Smpling Training戦略を提案する。
  論文  参考訳（メタデータ） (2024-12-08T13:47:57Z)
• On Evaluating Adversarial Robustness of Volumetric Medical Segmentation Models [59.45628259925441]
  体積医学セグメンテーションモデルは、臓器および腫瘍ベースのセグメンテーションタスクにおいて大きな成功を収めた。 敵の攻撃に対するその脆弱性はほとんど解明されていない。 このことは、既存のモデルの堅牢性を調べることの重要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-06-12T17:59:42Z)
• ADAPT to Robustify Prompt Tuning Vision Transformers [4.462011758348954]
  本稿では,アダプティブ・チューニング・パラダイムにおける適応的対角訓練を行うための新しいフレームワークであるADAPTを紹介する。 提案手法は,パラメータの1%だけを調整し,フルモデルファインチューニングによる40%のSOTAロバストネスの競合ロバスト精度を実現する。
  論文  参考訳（メタデータ） (2024-03-19T23:13:40Z)
• The Efficacy of Transformer-based Adversarial Attacks in Security Domains [0.7156877824959499]
  システムディフェンダーの対向サンプルに対する変換器のロバスト性およびシステムアタッカーに対する対向強度を評価する。 我々の研究は、セキュリティ領域におけるモデルの攻撃と防御のためにトランスフォーマーアーキテクチャを研究することの重要性を強調している。
  論文  参考訳（メタデータ） (2023-10-17T21:45:23Z)
• Adversarial Pixel Restoration as a Pretext Task for Transferable Perturbations [54.1807206010136]
  トランスファー可能な敵攻撃は、事前訓練された代理モデルと既知のラベル空間から敵を最適化し、未知のブラックボックスモデルを騙す。 本稿では,効果的なサロゲートモデルをスクラッチからトレーニングするための自己教師型代替手段として,Adversarial Pixel Restorationを提案する。 我々のトレーニングアプローチは、敵の目標を通したオーバーフィッティングを減らすmin-maxの目標に基づいています。
  論文  参考訳（メタデータ） (2022-07-18T17:59:58Z)
• Defending Variational Autoencoders from Adversarial Attacks with MCMC [74.36233246536459]
  変分オートエンコーダ(VAE)は、様々な領域で使用される深部生成モデルである。 以前の研究が示すように、視覚的にわずかに修正された入力に対する予期せぬ潜在表現と再構成を生成するために、VAEを簡単に騙すことができる。 本稿では, 敵攻撃構築のための目的関数について検討し, モデルのロバスト性を評価する指標を提案し, 解決策を提案する。
  論文  参考訳（メタデータ） (2022-03-18T13:25:18Z)
• Adversarial Token Attacks on Vision Transformers [40.687728887725356]
  ビジョントランスフォーマーは、畳み込みネットワークとは対照的に、パッチトークンベースの自己注意機構に依存している。 ブロック間隔に基づく逆トークン攻撃を設計することにより,これら2つのモデルの基本的な相違について検討する。 ResNetsは単一トークン攻撃に対する堅牢な精度で最大$sim30%の精度でTransformerモデルを上回っている。
  論文  参考訳（メタデータ） (2021-10-08T19:00:16Z)
• Training Meta-Surrogate Model for Transferable Adversarial Attack [98.13178217557193]
  クエリーを許可しない場合、ブラックボックスモデルに対する逆攻撃を考える。 この設定では、多くの手法が代理モデルを直接攻撃し、得られた敵の例をターゲットモデルを騙すために転送する。 メタサロゲートモデル(Meta-Surrogate Model:MSM)は,このモデルに対する攻撃が,他のモデルに容易に転送できることを示す。
  論文  参考訳（メタデータ） (2021-09-05T03:27:46Z)
• "What's in the box?!": Deflecting Adversarial Attacks by Randomly Deploying Adversarially-Disjoint Models [71.91835408379602]
  敵の例は長い間、機械学習モデルに対する真の脅威と考えられてきた。 我々は、従来のホワイトボックスやブラックボックスの脅威モデルを超えた、配置ベースの防衛パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-02-09T20:07:13Z)
• Orthogonal Deep Models As Defense Against Black-Box Attacks [71.23669614195195]
  攻撃者が標的モデルに類似したモデルを用いて攻撃を発生させるブラックボックス設定における深層モデル固有の弱点について検討する。 本稿では,深部モデルの内部表現を他のモデルに直交させる新しい勾配正規化手法を提案する。 様々な大規模モデルにおいて,本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-26T08:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。