論文の概要: Revisiting Adversarial Training at Scale

• arxiv url: http://arxiv.org/abs/2401.04727v1
• Date: Tue, 9 Jan 2024 18:58:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 15:01:15.098078
• Title: Revisiting Adversarial Training at Scale
• Title（参考訳）: 大規模における対向訓練の再検討
• Authors: Zeyu Wang, Xianhang Li, Hongru Zhu, Cihang Xie
• Abstract要約: 本稿では,巨大モデルとWebスケールデータによる対戦型トレーニングを,安価な計算コストで実現するための,効率的かつ効果的なトレーニング戦略を提案する。 実証的な結果から、AdvXLはAutoAttack on ImageNet-1Kの下で、新しい最先端のロバストな精度記録を確立している。 この成果はAdvXLを先駆的なアプローチとして提案し、より大規模なロバストな視覚表現の効率的な訓練のための新しい軌道をグラフ化している。
• 参考スコア（独自算出の注目度）: 22.736243416642736
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The machine learning community has witnessed a drastic change in the training pipeline, pivoted by those ''foundation models'' with unprecedented scales. However, the field of adversarial training is lagging behind, predominantly centered around small model sizes like ResNet-50, and tiny and low-resolution datasets like CIFAR-10. To bridge this transformation gap, this paper provides a modern re-examination with adversarial training, investigating its potential benefits when applied at scale. Additionally, we introduce an efficient and effective training strategy to enable adversarial training with giant models and web-scale data at an affordable computing cost. We denote this newly introduced framework as AdvXL. Empirical results demonstrate that AdvXL establishes new state-of-the-art robust accuracy records under AutoAttack on ImageNet-1K. For example, by training on DataComp-1B dataset, our AdvXL empowers a vanilla ViT-g model to substantially surpass the previous records of $l_{\infty}$-, $l_{2}$-, and $l_{1}$-robust accuracy by margins of 11.4%, 14.2% and 12.9%, respectively. This achievement posits AdvXL as a pioneering approach, charting a new trajectory for the efficient training of robust visual representations at significantly larger scales. Our code is available at https://github.com/UCSC-VLAA/AdvXL.
• Abstract（参考訳）: 機械学習コミュニティは、前例のない規模の‘境界モデル’によって、トレーニングパイプラインの大幅な変更を目撃している。 主にResNet-50のような小さなモデルサイズと、CIFAR-10のような小型で低解像度のデータセットを中心にしている。 このトランスフォーメーションギャップを埋めるために,本稿では,大規模に適用する上での潜在的メリットを探求し,敵のトレーニングによる現代的再検討を行う。 さらに,大規模モデルとwebスケールデータによる敵対的トレーニングを,手頃なコンピューティングコストで実現するための,効率的かつ効果的なトレーニング戦略を提案する。 新たに導入されたフレームワークをAdvXLと表現する。 実証的な結果から、AdvXLはAutoAttack on ImageNet-1Kの下で、新しい最先端の堅牢な精度記録を確立している。 例えば、DataComp-1Bデータセットをトレーニングすることで、当社のAdvXLは、バニラViT-gモデルに、それぞれ11.4%、14.2%、12.9%のマージンで、$l_{\infty}$-、$l_{2}$-、$l_{1}$-robustの前のレコードを大幅に上回る権限を与えています。 この成果は、advxlを先駆的なアプローチとして捉え、かなり大きなスケールでロバストな視覚的表現の効率的なトレーニングのための新しい軌道を示した。 私たちのコードはhttps://github.com/UCSC-VLAA/AdvXL.comで利用可能です。

関連論文リスト

• Scaling Laws and Compute-Optimal Training Beyond Fixed Training Durations [62.132347451049455]
  スケールは強力な機械学習モデルを得る上で重要な要素となっている。 本研究では,コサインのスケジュールに依存するため,スケールとトレーニングの研究は必然的に複雑である,と論じる。 その結果,重量平均化はトレーニングの軌道に沿って,異なるスケールでのトレーニングコストを伴わずに向上することがわかった。
  論文  参考訳（メタデータ） (2024-05-28T17:33:54Z)
• Effective pruning of web-scale datasets based on complexity of concept clusters [48.125618324485195]
  本稿では,大規模なマルチモーダルデータセットを抽出し,イメージネット上でCLIPスタイルのモデルを訓練する手法を提案する。 高品質なデータのより小さなセットでのトレーニングは、トレーニングコストを大幅に削減して、より高いパフォーマンスをもたらす可能性があることに気付きました。 我々は38の評価タスクにおいて、新しい最先端のImagehttps://info.arxiv.org/help/prep#commentsネットゼロショット精度と競合平均ゼロショット精度を実現する。
  論文  参考訳（メタデータ） (2024-01-09T14:32:24Z)
• A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
  現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。 本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。 提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
  論文  参考訳（メタデータ） (2023-11-03T17:29:46Z)
• Reusing Pretrained Models by Multi-linear Operators for Efficient Training [65.64075958382034]
  大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。 bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。 本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-16T06:16:47Z)
• TRAK: Attributing Model Behavior at Scale [79.56020040993947]
  本稿では,大規模な微分モデルに対して有効かつ計算的に抽出可能なデータ属性法であるTRAK(Tracing with Randomly-trained After Kernel)を提案する。
  論文  参考訳（メタデータ） (2023-03-24T17:56:22Z)
• The effectiveness of MAE pre-pretraining for billion-scale pretraining [65.98338857597935]
  モデルの初期化には自己教師付きMAE技術を用いる。 画像分類, 映像認識, 物体検出, ローショット分類, ゼロショット認識にまたがる10種類の視覚的タスクに対して, 事前学習の有効性を評価する。
  論文  参考訳（メタデータ） (2023-03-23T17:56:12Z)
• Self-Ensemble Protection: Training Checkpoints Are Good Data Protectors [41.45649235969172]
  自己アンサンブル保護(SEP)は、データに対する優れたモデルのトレーニングを防ぐために提案されている。 例えば、我々の小さな摂動により、CIFAR-10 ResNet18の精度は94.56%から14.68%に低下し、最もよく知られている方法は41.35%となった。
  論文  参考訳（メタデータ） (2022-11-22T04:54:20Z)
• Improving the Generalization of Supervised Models [30.264601433216246]
  本稿では,両世界の長所を生かした教師あり学習環境を提案する。 これらの3つの改善により、IN1Kトレーニングタスクと13のトランスファータスクとのトレードオフがより有利になることを示す。
  論文  参考訳（メタデータ） (2022-06-30T15:43:51Z)
• Efficient Learning of Model Weights via Changing Features During Training [0.0]
  学習中の特徴を動的に変化させる機械学習モデルを提案する。 私たちの主な動機は、トレーニングプロセス中に小さなコンテンツでモデルを更新し、より説明力の少ない機能を大きなプールから新しいものに置き換えることです。
  論文  参考訳（メタデータ） (2020-02-21T12:38:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。