論文の概要: A Mechanistic Analysis of Adversarial Fine-tuning of Vision Transformers

• arxiv url: http://arxiv.org/abs/2606.07593v1
• Date: Thu, 28 May 2026 17:30:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.756078
• Title: A Mechanistic Analysis of Adversarial Fine-tuning of Vision Transformers
• Title（参考訳）: 視覚変換器の逆方向微調整の力学解析
• Authors: Hannah Gao, Isha Agarwal, Dylan Hadfield-Menell, Rachel Ma,
• Abstract要約: 本研究では,視力変換器の性能が摂動画像や正規画像に与える影響を解析する。 我々は、低周波・高周波画像劣化に対してVTを逆向きに訓練し、下流モデルの性能の変化を説明する。 全体としては、共通の汚職を伴う入力の微調整は、新しい破損したデータのインスタンスのモデル性能と確実性を向上させるが、これらの改善はトレーニングで見られない他の汚職のクラスに転送されないことを示唆している。
• 参考スコア（独自算出の注目度）: 5.904351568635654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The widespread use of image classification models in high-risk, real-world situations necessitates making these models robust to slight disturbances or perturbations, such as blurring or sharpening, in the input images. While vision transformers (ViTs) play an integral role in many modern-day multi-modal models like Vision-Language-Models (VLMs) and Vision-Language-Action (VLA) models, they have received a lack of attention in the setting of robustness. In this work, we analyze the effects of adversarial fine-tuning, a popular method for improving model robustness to image perturbations, on a ViT's performance on perturbed and regular images through a mechanistic lens. We adversarially train a ViT on low-frequency and high-frequency image corruptions, and attempt to explain changes in downstream model performance through an examination of the model's attention mechanisms, internal representations, and knowledge evolution. Overall, our results suggest that, while fine-tuning on inputs with common corruptions improves model performance and certainty on new instances of corrupted data, these improvements do not transfer to other classes of corruptions not seen in the training. Additionally, despite observing changes in visual attention and knowledge evolution across layers, we found that adversarial training did not lead to fundamental changes in the sparse representations learned by ViTs.
• Abstract（参考訳）: 高リスクで現実的な状況における画像分類モデルの普及は、入力画像のぼやけやシャープニングといったわずかな乱れや摂動に対して、これらのモデルを堅牢にする必要がある。 ビジョン・ランゲージ・モデル (VLM) やビジョン・ランゲージ・アクション (VLA) モデルのような現代の多くのマルチモーダルモデルにおいて、視覚トランスフォーマー (ViT) は重要な役割を担っているが、ロバスト性の設定には注意が払われていない。 本研究では,画像摂動に対するモデルロバスト性向上手法である逆方向ファインチューニングが,メカニスティックレンズによる摂動および正規画像に対するViTの性能に与える影響を解析する。 我々は、低周波・高周波画像の劣化に対して、ViTを逆向きに訓練し、モデルの注意機構、内部表現、知識進化の検証を通して、下流モデルの性能の変化を説明する。 全体としては、共通の汚職を伴う入力の微調整は、新しい破損したデータのインスタンスのモデル性能と確実性を向上させるが、これらの改善はトレーニングで見られない他の汚職のクラスに転送されないことを示唆している。 また,視覚的注意力の変化や層間知識の発達を観察しながらも,対人訓練によって学習されたスパース表現の基本的な変化には至らなかった。

関連論文リスト

• Bias Detection and Rotation-Robustness Mitigation in Vision-Language Models and Generative Image Models [0.0]
  VLM(Vision-Language Models)と生成画像モデル(Generative Image Models)は、マルチモーダルタスクにおいて顕著なパフォーマンスを実現している。 本研究では、最先端のビジョン言語および生成モデルにおけるバイアス伝搬とロバスト性について検討する。 本稿では,データ拡張,表現アライメント,モデルレベルの正規化を併用した回転ロバスト緩和戦略を提案する。
  論文  参考訳（メタデータ） (2026-01-09T00:36:11Z)
• Indoor scene recognition from images under visual corruptions [3.4861209026118836]
  本稿では,マルチモーダルデータ融合を利用した屋内シーン認識への革新的アプローチを提案する。 グラフ畳み込みネットワーク(GCN)を用いて,CNNモデルから意味字幕を合成する2つのマルチモーダルネットワークについて検討した。 本研究では,Places365データセットの破損したサブセットに対して評価した場合,Top-1の精度が顕著に向上し,モデル性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2024-08-23T12:35:45Z)
• Interpretable Computer Vision Models through Adversarial Training: Unveiling the Robustness-Interpretability Connection [0.0]
  解釈可能性は、モデルを現実世界にデプロイする際には、堅牢性と同じくらい不可欠です。 標準モデルは、ロバストと比較して敵の攻撃に対してより感受性が高く、その学習された表現は人間にはあまり意味がない。
  論文  参考訳（メタデータ） (2023-07-04T13:51:55Z)
• Improving Vision Transformers by Revisiting High-frequency Components [106.7140968644414]
  視覚変換器(ViT)モデルは,CNNモデルよりも画像の高周波成分の捕捉に効果が低いことを示す。 本稿では,画像の高周波成分を直接補うHATを提案する。 HAT は様々な ViT モデルの性能を継続的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-04-03T05:16:51Z)
• Intriguing Properties of Vision Transformers [114.28522466830374]
  視覚変換器(ViT)は、様々なマシンビジョン問題にまたがって印象的な性能を誇示している。 我々は、この問題を広範囲の実験を通して体系的に研究し、高性能畳み込みニューラルネットワーク(CNN)との比較を行った。 ViTsの効果的な特徴は、自己認識機構によって可能なフレキシブルな受容と動的場によるものであることを示す。
  論文  参考訳（メタデータ） (2021-05-21T17:59:18Z)
• Improving robustness against common corruptions with frequency biased models [112.65717928060195]
  目に見えない画像の腐敗は 驚くほど大きなパフォーマンス低下を引き起こします 画像の破損タイプは周波数スペクトルで異なる特性を持ち、ターゲットタイプのデータ拡張の恩恵を受けます。 畳み込み特徴マップの総変動(TV)を最小限に抑え、高周波堅牢性を高める新しい正規化方式を提案する。
  論文  参考訳（メタデータ） (2021-03-30T10:44:50Z)
• On the Adversarial Robustness of Visual Transformers [129.29523847765952]
  本研究は、視覚変換器(ViT)の対逆的摂動に対する堅牢性に関する最初の包括的な研究を提供する。 さまざまなホワイトボックスとトランスファーアタック設定でテストされた ViT は、畳み込みニューラルネットワーク (CNN) と比較して、より優れた敵対的堅牢性を持っています。
  論文  参考訳（メタデータ） (2021-03-29T14:48:24Z)
• Stereopagnosia: Fooling Stereo Networks with Adversarial Perturbations [71.00754846434744]
  知覚不能な加法的摂動は,差分マップを著しく変更できることを示す。 敵データ拡張に使用すると、我々の摂動はより堅牢なトレーニングされたモデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-09-21T19:20:09Z)
• Encoding Robustness to Image Style via Adversarial Feature Perturbations [72.81911076841408]
  我々は、画像画素ではなく特徴統計を直接摂動することで、頑健なモデルを生成することで、敵の訓練に適応する。 提案手法であるAdvBN(Adversarial Batch Normalization)は,トレーニング中に最悪の機能摂動を発生させる単一ネットワーク層である。
  論文  参考訳（メタデータ） (2020-09-18T17:52:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。