論文の概要: Adversarial Robustness Limits via Scaling-Law and Human-Alignment Studies

• arxiv url: http://arxiv.org/abs/2404.09349v2
• Date: Wed, 10 Jul 2024 17:32:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 21:10:19.237605
• Title: Adversarial Robustness Limits via Scaling-Law and Human-Alignment Studies
• Title（参考訳）: スケーリング学習による対人ロバスト性限界と人的アライメント研究
• Authors: Brian R. Bartoldson, James Diffenderfer, Konstantinos Parasyris, Bhavya Kailkhura,
• Abstract要約: モデルサイズ,データセットサイズ,合成データ品質が,対戦型トレーニングのための最初のスケーリング法則を開発することにより,ロバスト性にどのように影響するかを分析する。 我々のスケーリング法則は、先行技術における非効率性を明らかにし、現場を前進させるための実用的なフィードバックを提供する。
• 参考スコア（独自算出の注目度）: 19.100334346597982
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper revisits the simple, long-studied, yet still unsolved problem of making image classifiers robust to imperceptible perturbations. Taking CIFAR10 as an example, SOTA clean accuracy is about $100$%, but SOTA robustness to $\ell_{\infty}$-norm bounded perturbations barely exceeds $70$%. To understand this gap, we analyze how model size, dataset size, and synthetic data quality affect robustness by developing the first scaling laws for adversarial training. Our scaling laws reveal inefficiencies in prior art and provide actionable feedback to advance the field. For instance, we discovered that SOTA methods diverge notably from compute-optimal setups, using excess compute for their level of robustness. Leveraging a compute-efficient setup, we surpass the prior SOTA with $20$% ($70$%) fewer training (inference) FLOPs. We trained various compute-efficient models, with our best achieving $74$% AutoAttack accuracy ($+3$% gain). However, our scaling laws also predict robustness slowly grows then plateaus at $90$%: dwarfing our new SOTA by scaling is impractical, and perfect robustness is impossible. To better understand this predicted limit, we carry out a small-scale human evaluation on the AutoAttack data that fools our top-performing model. Concerningly, we estimate that human performance also plateaus near $90$%, which we show to be attributable to $\ell_{\infty}$-constrained attacks' generation of invalid images not consistent with their original labels. Having characterized limiting roadblocks, we outline promising paths for future research.
• Abstract（参考訳）: 本稿では、画像分類器を知覚不能な摂動に対して堅牢にするという、単純で長期に渡り、未解決の問題を再考する。 CIFAR10を例にすると、SOTAのクリーン精度は約100ドル%だが、$\ell_{\infty}$-normの有界摂動に対するSOTAの堅牢性は70ドル%を超える。 このギャップを理解するために, モデルサイズ, データセットサイズ, 合成データ品質が, 対戦型トレーニングのための最初のスケーリング法則を開発することによって, 堅牢性にどのように影響するかを分析する。 我々のスケーリング法則は、先行技術における非効率性を明らかにし、現場を前進させるための実用的なフィードバックを提供する。 例えば、SOTA法は計算最適設定から特に分岐し、過剰な計算を頑健さのレベルに用いた。 計算効率のセットアップを活用することで、以前のSOTAよりも20ドル%(70ドル%)少ないトレーニング(推論)FLOPを達成できます。 私たちは、AutoAttackの精度(+3$%のゲイン)を7,4$%達成して、さまざまな計算効率のモデルをトレーニングしました。 しかし、我々のスケーリング法則はまた、ロバスト性は徐々に成長し、90ドル%の高原を予測している: スケーリングによって新しいSOTAを軽視することは非現実的であり、完全なロバスト性は不可能である。 この予測限界をよりよく理解するために、私たちはAutoAttackデータに対して、私たちの最高のパフォーマンスモデルを騙した小規模の人間評価を実行します。 そこで,本研究では,90ドル近くで人為的性能が低下すると推定し,その原因は,元ラベルと一致しない不正な画像の生成に$\ell_{\infty}$-constrained attackが関与していることが示唆された。 道路封鎖の限界を特徴として、今後の研究に期待できる道筋を概説する。

関連論文リスト

• Language models scale reliably with over-training and on downstream tasks [121.69867718185125]
  スケーリング法則は、高価なトレーニング実行を引き出すための有用なガイドである。 しかし、現在の研究と言語モデルがどのように訓練されているかには差がある。 対照的に、スケーリング法則は主に推論における損失を予測するが、モデルは通常下流のタスクのパフォーマンスで比較される。
  論文  参考訳（メタデータ） (2024-03-13T13:54:00Z)
• Not All Models Are Equal: Predicting Model Transferability in a Self-challenging Fisher Space [51.62131362670815]
  本稿では、トレーニング済みのディープニューラルネットワークのランク付けと、下流タスクにおける最も転送可能なニューラルネットワークのスクリーニングの問題に対処する。 textbfSelf-challenging textbfFisher textbfDiscriminant textbfAnalysis (textbfSFDA)と呼ばれる新しい転送可能性指標を提案する。
  論文  参考訳（メタデータ） (2022-07-07T01:33:25Z)
• Towards Alternative Techniques for Improving Adversarial Robustness: Analysis of Adversarial Training at a Spectrum of Perturbations [5.18694590238069]
  逆行訓練(AT)とその変種は、逆行性摂動に対するニューラルネットワークの堅牢性を改善する進歩を先導している。 私たちは、$epsilon$の値のスペクトルに基づいてトレーニングされたモデルに焦点を当てています。 ATの代替改善は、そうでなければ1ドル(約1万2000円)も出なかったでしょう。
  論文  参考訳（メタデータ） (2022-06-13T22:01:21Z)
• Simple Baselines for Image Restoration [79.48718779396971]
  本稿では,SOTA(State-of-the-art)法を超越した,計算効率の高い単純なベースラインを提案する。 我々は、ベースラインからActivation Free Network、すなわちNAFNetを導出する。 SOTAの結果は、GoProの33.69dB PSNR(画像劣化)、計算コストのわずか8.4%のSOTA 0.38dB、SIDDの40.30dB PSNR(画像劣化)、計算コストの半分未満のSOTA 0.28dBといった、様々な挑戦的なベンチマークで達成されている。
  論文  参考訳（メタデータ） (2022-04-10T12:48:38Z)
• Data Augmentation Can Improve Robustness [21.485435979018256]
  アドリアルトレーニングは、トレーニング中に堅牢なテスト精度が低下し始める現象である、堅牢なオーバーフィッティングに苦しむ。 モデルウェイト平均化と組み合わせることで、データの増大がロバストな精度を大幅に向上させることを示した。 特に、$ell_infty$ 標準束縛されたサイズ $epsilon = 8/255$ の摂動に対して、我々のモデルは外部データを使わずに60.07%の堅牢な精度に達する。
  論文  参考訳（メタデータ） (2021-11-09T18:57:00Z)
• Exploring Sparse Expert Models and Beyond [51.90860155810848]
  Mixture-of-Experts (MoE) モデルは、無数のパラメータを持つが、一定の計算コストで有望な結果が得られる。 本稿では,専門家を異なるプロトタイプに分割し,上位1ドルのルーティングに$k$を適用する,エキスパートプロトタイピングというシンプルな手法を提案する。 この戦略は, モデル品質を向上させるが, 一定の計算コストを維持するとともに, 大規模モデルのさらなる探索により, 大規模モデルの訓練に有効であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-31T16:12:44Z)
• Fixing Data Augmentation to Improve Adversarial Robustness [21.485435979018256]
  相手のトレーニングは、トレーニング中に堅牢なテスト精度が低下し始める現象である、堅牢なオーバーフィッティングに苦しむ。 本稿では,強固な過剰フィッティングを減らす手段として,adversarials-drivenとdata-driven additionationの両方に注目した。 従来の最先端手法に比べて,+7.06%と+5.88%の絶対値が大幅に向上した。
  論文  参考訳（メタデータ） (2021-03-02T18:58:33Z)
• Learnable Boundary Guided Adversarial Training [66.57846365425598]
  私たちは、あるクリーンモデルからのモデルロジットを使用して、別のロバストモデルの学習をガイドします。 我々は、CIFAR-100上で、追加の実データや合成データなしで、新しい最先端のロバスト性を実現する。
  論文  参考訳（メタデータ） (2020-11-23T01:36:05Z)
• Uncovering the Limits of Adversarial Training against Norm-Bounded Adversarial Examples [47.27255244183513]
  本研究では, 異なるトレーニング損失, モデルサイズ, アクティベーション機能, ラベルなしデータの付加(擬似ラベル付け)などの要因が, 相手の強靭性に及ぼす影響について検討した。 我々は、より大きなモデル、Swish/SiLUアクティベーションとモデルウェイト平均化を組み合わせることで、最先端の成果をはるかに超えるロバストモデルをトレーニングできることを発見した。
  論文  参考訳（メタデータ） (2020-10-07T18:19:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。