論文の概要: VanillaBench: The Hidden Accuracy Cost of Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2607.12545v1
• Date: Tue, 14 Jul 2026 09:15:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.094361
• Title: VanillaBench: The Hidden Accuracy Cost of Adversarial Robustness
• Title（参考訳）: VanillaBench: 敵対的ロバスト性の隠れた精度コスト
• Authors: Niklas Bunzel,
• Abstract要約: 敵対的堅牢性の研究は、過去10年間に何百もの防衛モデルを生み出してきた。 文献はほぼ普遍的にロバスト性は孤立し、標準(クリーン)精度とロバストモデルの逆精度が示されている。 私たちは、このギャップを明確にする体系的なベンチマークであるVanillaBenchを紹介します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial robustness research has produced hundreds of defended models over the past decade, yet the literature almost universally reports robustness results in isolation: standard (clean) accuracy and adversarial accuracy of the robust model are shown, but the gap to the corresponding vanilla model is rarely quantified. We introduce VanillaBench, a systematic benchmark that makes this gap explicit. For every adversarially-trained model catalogued by RobustBench across four threat models, we compute the accuracy difference against multiple vanilla references from Papers with Code, computed over both all entries and no-extra-data entries, the best vanilla model as of the robust model's publication year, and an architecture-matched baseline. Across all 186 robust models, the mean delta clean relative to the best vanilla model ranges from -7.7 to -29.5 percentage points, and even the single most robust model per track still trails its temporal vanilla counterpart by 4.0-21.0 points. The architecture-matched comparison, which isolates the effect of adversarial training from architectural differences, reveals a mean gap of -3.5 to -17.5 points. Restricting this architecture-matched comparison to models whose vanilla accuracy is known for the exact same architecture, rather than approximated from a related one, narrows the gap to -4.0 to -14.0 points. These results demonstrate that the robustness-accuracy trade-off is substantially larger than what is typically conveyed by individual papers. This information is critical for practitioners and decision-makers. When deploying models in real-world settings, the accuracy cost of robustness directly affects business outcomes, yet current publications do not provide the vanilla baseline needed to assess it. We argue that future robustness evaluations should report vanilla-referenced accuracy gaps as a standard component.
• Abstract（参考訳）: 敵対的ロバスト性の研究は過去10年間に数百の防衛モデルを生み出してきたが、文献ではほぼ普遍的にロバスト性を報告しており、ロバストモデルの標準(クリーン)精度と逆正精度が示されているが、対応するバニラモデルとのギャップが定量化されることはめったにない。 私たちは、このギャップを明確にする体系的なベンチマークであるVanillaBenchを紹介します。 RobustBench氏によって4つの脅威モデルにまたがってカタログ化されたすべての逆学習モデルに対して、Papers with Codeからの複数のバニラ参照に対する精度差を計算し、すべてのエントリと非データエントリを計算し、ロバストモデルの出版年における最高のバニラモデルとアーキテクチャに適合したベースラインを計算します。 186台のロバストモデル全体では、最高のバニラモデルに対する平均デルタクリーンは-7.7から-29.5ポイントの範囲であり、トラック当たりの最もロバストなモデルでさえもその時限バニラモデルに4.0-21.0ポイントの差をつけている。 アーキテクチャに適合した比較では、アーキテクチャの違いから敵のトレーニングの効果を分離し、平均的な差が-3.5から-17.5点であることが示される。 このアーキテクチャに適合したモデルを、関連するものから近似するのではなく、全く同じアーキテクチャでバニラ精度が知られているモデルと比較すると、ギャップは-4.0から-14.0に狭まる。 これらの結果は、ロバスト性-正確性トレードオフが、個々の論文によって通常伝達されるものよりもかなり大きいことを示している。 この情報は実践者や意思決定者にとって重要だ。 実際の環境でモデルを展開する場合、ロバストさの正確さのコストはビジネスの結果に直接影響を及ぼすが、現在の出版物はそれを評価するのに必要なバニラベースラインを提供していない。 今後のロバスト性評価では、バニラ基準の精度ギャップを標準成分として報告すべきである。

関連論文リスト

• What Single-Prompt Accuracy Misses: A Multi-Variant Reliability Audit of Language Models [0.0]
  シングルプロンプト精度は、言語モデルをベンチマークする主要な方法であるが、重要な信頼性障害を見逃す可能性がある。 15モデルオープンウェイトコーパスの評価を行い,5つの分類と推論ベンチマークによる10のインストラクトモデルに着目した信頼性解析を行った。 まず、評価設計は結論を根本的に変えることができる。 第2に、信頼信号は脆弱である。MMLU-Proでは、各プライマリモデルは、その精度と同一行上のトークン確率信頼の両方よりもかなり高い信頼度を言語的に報告し、単一のプロンプト変種における単一のモデルに対して、動詞のパースレートが崩壊する可能性がある。
  論文  参考訳（メタデータ） (2026-05-03T20:05:08Z)
• Beyond One-Size-Fits-All: Tailored Benchmarks for Efficient Evaluation [19.673388630963807]
  本論文では,各対象モデルに合わせてカスタマイズした評価を行うTaloredBenchを提案する。 Global-coresetはまず、ターゲットモデル毎に最も一貫性のあるソースモデルを特定するプローブとして構築される。 拡張性のあるK-Medoidsクラスタリングアルゴリズムが提案され、Global-coresetを各ターゲットモデルに適したNative-coresetに拡張する。
  論文  参考訳（メタデータ） (2025-02-19T09:31:50Z)
• Data-Free Hard-Label Robustness Stealing Attack [67.41281050467889]
  本稿では,Data-Free Hard-Label Robustness Stealing(DFHL-RS)攻撃について紹介する。 ターゲットモデルのハードラベルをクエリするだけで、モデル精度とロバスト性の両方を盗むことができる。 本手法は,AutoAttackに対して77.86%,頑健な39.51%の精度を実現する。
  論文  参考訳（メタデータ） (2023-12-10T16:14:02Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [49.15931834209624]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Part-Based Models Improve Adversarial Robustness [57.699029966800644]
  人間の事前知識とエンドツーエンドの学習を組み合わせることで、ディープニューラルネットワークの堅牢性を向上させることができることを示す。 我々のモデルは、部分分割モデルと小さな分類器を組み合わせて、オブジェクトを同時に部品に分割するようにエンドツーエンドに訓練されている。 実験の結果,これらのモデルによりテクスチャバイアスが低減され,一般的な汚職に対する堅牢性が向上し,相関が急上昇することが示唆された。
  論文  参考訳（メタデータ） (2022-09-15T15:41:47Z)
• Learnable Boundary Guided Adversarial Training [66.57846365425598]
  私たちは、あるクリーンモデルからのモデルロジットを使用して、別のロバストモデルの学習をガイドします。 我々は、CIFAR-100上で、追加の実データや合成データなしで、新しい最先端のロバスト性を実現する。
  論文  参考訳（メタデータ） (2020-11-23T01:36:05Z)
• RobustBench: a standardized adversarial robustness benchmark [84.50044645539305]
  ロバストネスのベンチマークにおける主な課題は、その評価がしばしばエラーを起こし、ロバストネス過大評価につながることである。 我々は,白箱攻撃と黒箱攻撃のアンサンブルであるAutoAttackを用いて,敵対的ロバスト性を評価する。 分散シフト,キャリブレーション,アウト・オブ・ディストリビューション検出,フェアネス,プライバシリーク,スムースネス,転送性に対するロバスト性の影響を解析した。
  論文  参考訳（メタデータ） (2020-10-19T17:06:18Z)
• How to compare adversarial robustness of classifiers from a global perspective [0.0]
  敵対的攻撃は、機械学習モデルの信頼性と信頼性を損なう。 特定の脅威モデルのポイントワイド測度は、現在、分類器の堅牢性を比較するための最も一般的なツールである。 本研究では,最近提案されたロバストネス曲線を用いて,ポイントワイド測度が重要なグローバルな特性を捉えることができないことを示す。
  論文  参考訳（メタデータ） (2020-04-22T22:07:49Z)
• Revisiting Ensembles in an Adversarial Context: Improving Natural Accuracy [5.482532589225552]
  頑丈なモデルと非ロバストなモデルの間には、依然として自然な精度に大きなギャップがある。 この性能差を軽減するために,多数のアンサンブル法について検討する。 ランダムにロバストなモデルからの予測と、ロバストモデルと標準モデルから特徴を融合する2つのスキームを考える。
  論文  参考訳（メタデータ） (2020-02-26T15:45:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。