論文の概要: Benign Overfitting in Adversarial Training for Vision Transformers

• arxiv url: http://arxiv.org/abs/2604.19724v1
• Date: Tue, 21 Apr 2026 17:48:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.910543
• Title: Benign Overfitting in Adversarial Training for Vision Transformers
• Title（参考訳）: 視覚変換器の対向訓練におけるベニグアオーバーフィッティング
• Authors: Jiaming Zhang, Meng Ding, Shaopeng Fu, Jingfeng Zhang, Di Wang,
• Abstract要約: 典型的な実証的な防衛戦略は敵の訓練であるが、ViTの堅牢性の理論的な基盤は未解明のままである。 本研究では、ある条件を満たす信号対雑音比で訓練された場合、ある程度の予算で、対戦型トレーニングにより、VTは一定の条件下でほぼゼロの堅牢なトレーニング損失とロバストな一般化誤差を達成できることを示す。
• 参考スコア（独自算出の注目度）: 26.33093636776093
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the remarkable success of Vision Transformers (ViTs) across a wide range of vision tasks, recent studies have revealed that they remain vulnerable to adversarial examples, much like Convolutional Neural Networks (CNNs). A common empirical defense strategy is adversarial training, yet the theoretical underpinnings of its robustness in ViTs remain largely unexplored. In this work, we present the first theoretical analysis of adversarial training under simplified ViT architectures. We show that, when trained under a signal-to-noise ratio that satisfies a certain condition and within a moderate perturbation budget, adversarial training enables ViTs to achieve nearly zero robust training loss and robust generalization error under certain regimes. Remarkably, this leads to strong generalization even in the presence of overfitting, a phenomenon known as \emph{benign overfitting}, previously only observed in CNNs (with adversarial training). Experiments on both synthetic and real-world datasets further validate our theoretical findings.
• Abstract（参考訳）: ビジョントランスフォーマー(ViT)は、幅広いビジョンタスクで顕著に成功したが、最近の研究では、畳み込みニューラルネットワーク(CNN)のように、敵の例に弱いままであることが明らかになっている。 典型的な実証的な防衛戦略は敵の訓練であるが、ViTの堅牢性の理論的な基盤は未解明のままである。 本稿では, 簡易なViTアーキテクチャ下での対人訓練に関する最初の理論的解析について述べる。 本研究では,ある条件を満たす信号対雑音比と適度な摂動予算で訓練した場合,VTTが一定の条件下での堅牢なトレーニング損失とロバストな一般化誤差をほぼゼロにすることができることを示す。 これは、かつてCNNでしか見られなかった「emph{benign overfitting}」と呼ばれる現象であるオーバーフィッティングの存在においても、強い一般化をもたらす。 合成と実世界の両方のデータセットの実験は、我々の理論的な結果をさらに検証した。

関連論文リスト

• Generalist++: A Meta-learning Framework for Mitigating Trade-off in Adversarial Training [105.74524789405514]
  対人訓練(AT)は、現在、ニューラルネットワークに対する最も効果的な防御である。 本稿では,汎用化目標を複数のサブタスクに分割し,それぞれを専用のベースラーナに割り当てる。 トレーニングの後半では、これらのパラメータを補間して、知識のあるグローバルな学習者を形成する。 このフレームワークをGeneralistと呼び、異なるアプリケーションシナリオに適した3つのバリエーションを紹介します。
  論文  参考訳（メタデータ） (2025-10-15T09:47:54Z)
• Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
  本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。 本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
  論文  参考訳（メタデータ） (2024-10-11T03:59:49Z)
• Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization [88.5582111768376]
  本研究では, ソフトマックスを用いた自己保持層と, 勾配勾配下での完全連結層からなるトランスフォーマーの最適化について検討した。 この結果から,データモデルにおける信号対雑音比に基づいて,小さなテストエラー位相と大規模なテストエラー状態とを区別できるシャープ条件を確立した。
  論文  参考訳（メタデータ） (2024-09-28T13:24:11Z)
• Evolution of Neural Tangent Kernels under Benign and Adversarial Training [109.07737733329019]
  実験的なニューラル・タンジェント・カーネル(NTK)の進化を,標準および対角訓練下で研究する。 敵対的トレーニングでは、経験的NTKは標準トレーニングとは異なるカーネル(および特徴マップ)に急速に収束する。 この新しいカーネルは、その上に非ロマンストレーニングが行われたとしても、敵の堅牢性を提供する。
  論文  参考訳（メタデータ） (2022-10-21T15:21:15Z)
• Understanding Adversarial Robustness of Vision Transformers via Cauchy Problem [15.033609196411517]
  視覚変換器(ViT)は、いくつかの摂動の下で畳み込みニューラルネットワーク(CNN)を超える。 本稿では,ViTのロバスト性を調べるための原理的・統一的な理論枠組みを提案する。
  論文  参考訳（メタデータ） (2022-08-01T14:50:29Z)
• Towards Efficient Adversarial Training on Vision Transformers [41.6396577241957]
  敵の訓練は、堅牢なCNNを実現するための最も効果的な方法の1つである。 本稿では,効率的な注意指導型対人訓練機構を提案する。 高速な敵のトレーニング時間のわずか65%で、挑戦的なImageNetベンチマークの最先端の結果と一致します。
  論文  参考訳（メタデータ） (2022-07-21T14:23:50Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Finding Dynamics Preserving Adversarial Winning Tickets [11.05616199881368]
  プランニング法は, モデルキャパシティを低減し, 同時に対向ロバスト性を向上させるために, 対向文脈において検討されてきた。 既存の逆プルーニング法は、通常、3段階の「トレーニング・プルーニング・ファインチューニング」パイプラインに従う、自然訓練のための古典的なプルーニング法を模倣する。 我々は,AWTが対人訓練の力学を保ち,高密度対人訓練と同等の性能を発揮するという実証的証拠を示す。
  論文  参考訳（メタデータ） (2022-02-14T05:34:24Z)
• On the Adversarial Robustness of Visual Transformers [129.29523847765952]
  本研究は、視覚変換器(ViT)の対逆的摂動に対する堅牢性に関する最初の包括的な研究を提供する。 さまざまなホワイトボックスとトランスファーアタック設定でテストされた ViT は、畳み込みニューラルネットワーク (CNN) と比較して、より優れた敵対的堅牢性を持っています。
  論文  参考訳（メタデータ） (2021-03-29T14:48:24Z)
• Overfitting in adversarially robust deep learning [86.11788847990783]
  トレーニングセットへの過度な適合は、実際には、逆向きの堅牢なトレーニングにおいて、非常に大きなロバストなパフォーマンスを損なうことを示す。 また, 2重降下曲線のような効果は, 逆向きに訓練されたモデルでもまだ起こるが, 観測された過度なオーバーフィッティングを説明できないことを示す。
  論文  参考訳（メタデータ） (2020-02-26T15:40:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。