論文の概要: The Impact of Scaling Training Data on Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2509.25927v1
• Date: Tue, 30 Sep 2025 08:20:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.476955
• Title: The Impact of Scaling Training Data on Adversarial Robustness
• Title（参考訳）: 学習データのスケーリングが対人ロバスト性に及ぼす影響
• Authors: Marco Zimmerli, Andreas Plesner, Till Aczel, Roger Wattenhofer,
• Abstract要約: ロバストネスは、データボリュームとモデルサイズの両方で対数スケーリングの法則に従う。 DINOv2のようなデータセットでトレーニングされた自己教師型モデルでは、はるかに大きく、キュレートされていないデータセットでトレーニングされたモデルよりも優れています。 人間の評価は、人間と機械の視界の間に永続的なギャップを露呈する。
• 参考スコア（独自算出の注目度）: 28.844098517315228
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Deep neural networks remain vulnerable to adversarial examples despite advances in architectures and training paradigms. We investigate how training data characteristics affect adversarial robustness across 36 state-of-the-art vision models spanning supervised, self-supervised, and contrastive learning approaches, trained on datasets from 1.2M to 22B images. Models were evaluated under six black-box attack categories: random perturbations, two types of geometric masks, COCO object manipulations, ImageNet-C corruptions, and ImageNet-R style shifts. Robustness follows a logarithmic scaling law with both data volume and model size: a tenfold increase in data reduces attack success rate (ASR) on average by ~3.2%, whereas a tenfold increase in model size reduces ASR on average by ~13.4%. Notably, some self-supervised models trained on curated datasets, such as DINOv2, outperform others trained on much larger but less curated datasets, challenging the assumption that scale alone drives robustness. Adversarial fine-tuning of ResNet50s improves generalization across structural variations but not across color distributions. Human evaluation reveals persistent gaps between human and machine vision. These results show that while scaling improves robustness, data quality, architecture, and training objectives play a more decisive role than raw scale in achieving broad-spectrum adversarial resilience.
• Abstract（参考訳）: アーキテクチャやトレーニングパラダイムの進歩にもかかわらず、ディープニューラルネットワークは敵の例に弱いままである。 トレーニングデータの特徴が、教師付き、自己監督型、コントラスト型学習アプローチにまたがる36の最先端ビジョンモデルにおいて、1.2Mから22Bの画像のデータセットに基づいて、逆方向のロバスト性にどのように影響するかを検討する。 モデルは、ランダムな摂動、2種類の幾何マスク、COCOオブジェクト操作、ImageNet-Cの破損、ImageNet-Rスタイルシフトの6つのブラックボックス攻撃カテゴリで評価された。 ロバストネスはデータ量とモデルサイズの両方で対数スケーリング法に従っている: 10倍のデータの増加は平均で3.2%の攻撃成功率(ASR)を減少させるが、10倍のモデルサイズの増加は平均で13.4%のASRを減少させる。 特に、DINOv2のようなキュレートデータセットでトレーニングされた自己教師型モデルでは、より大きく、よりキュレートされていないデータセットでトレーニングされたモデルよりも優れており、スケール単独が堅牢性を促進するという仮定に異議を唱えている。 ResNet50sの逆微調整により、色分布ではなく構造的変動の一般化が向上する。 人間の評価は、人間と機械の視界の間に永続的なギャップを露呈する。 これらの結果から, スケーリングはロバスト性, データ品質, アーキテクチャ, トレーニング目標を向上する一方で, 広帯域対角レジリエンスを達成する上では, 生のスケールよりも決定的な役割を担っていることが明らかとなった。

関連論文リスト

• Scaling DRL for Decision Making: A Survey on Data, Network, and Training Budget Strategies [66.83950068218033]
  スケーリング法則は、モデルのパラメータとトレーニングデータによって学習のパフォーマンスが向上することを示している。 性能向上の可能性にもかかわらず、スケーリング法則を深層強化学習に統合することは、完全には実現されていない。 本稿では,データ,ネットワーク,トレーニング予算という3次元のスケーリング戦略を体系的に分析することによって,このギャップに対処する。
  論文  参考訳（メタデータ） (2025-08-05T08:03:12Z)
• Enhancing Adversarial Robustness through Multi-Objective Representation Learning [1.534667887016089]
  ディープニューラルネットワーク(DNN)は、小さな敵の摂動に対して脆弱である。 トレーニング中のロバストな特徴学習は、ロバスト性を大幅に向上させることができることを示す。 自然的特徴と敵対的特徴を整合させる多目的的手法であるMORELを提案する。
  論文  参考訳（メタデータ） (2024-10-02T16:05:03Z)
• Effective Backdoor Mitigation in Vision-Language Models Depends on the Pre-training Objective [71.39995120597999]
  現代の機械学習モデルは、敵の攻撃やバックドア攻撃に弱い。 このようなリスクは、マルチモーダルモデルをトレーニングするための大規模なインターネットソースデータセット収集の一般的なプラクティスによって高められている。 CleanCLIPは、マルチモーダルモデルにおけるバックドア効果を軽減するための最先端のアプローチである。
  論文  参考訳（メタデータ） (2023-11-25T06:55:13Z)
• Robustness Analysis on Foundational Segmentation Models [28.01242494123917]
  本研究では,セグメンテーションタスクのためのVisual Foundation Models (VFM) のロバストネス解析を行う。 2つの異なるデータセットを使用して、7つの最先端セグメンテーションアーキテクチャをベンチマークする。 VFMは、強靭性において不定形モデルをすべて上回るものではないにもかかわらず、圧縮誘起汚損に対する脆弱性を示し、マルチモーダルモデルはゼロショットシナリオにおける競争力を示し、VFMは特定の対象カテゴリに対して強靭性を示す。
  論文  参考訳（メタデータ） (2023-06-15T16:59:42Z)
• Robust Trajectory Prediction against Adversarial Attacks [84.10405251683713]
  ディープニューラルネットワーク(DNN)を用いた軌道予測は、自律運転システムにおいて不可欠な要素である。 これらの手法は敵の攻撃に対して脆弱であり、衝突などの重大な結果をもたらす。 本研究では,敵対的攻撃に対する軌道予測モデルを保護するための2つの重要な要素を同定する。
  論文  参考訳（メタデータ） (2022-07-29T22:35:05Z)
• From Environmental Sound Representation to Robustness of 2D CNN Models Against Adversarial Attacks [82.21746840893658]
  本稿では, 各種環境音響表現(スペクトログラム)が, 被害者残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。 DWTスペクトログラムでトレーニングしたResNet-18モデルでは高い認識精度が得られたが、このモデルに対する攻撃は敵にとって比較的コストがかかる。
  論文  参考訳（メタデータ） (2022-04-14T15:14:08Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• From Sound Representation to Model Robustness [82.21746840893658]
  本研究では, 環境音の標準的な表現(スペクトログラム)が, 被害者の残差畳み込みニューラルネットワークの認識性能と対角攻撃性に与える影響について検討する。 3つの環境音響データセットの様々な実験から、ResNet-18モデルは、他のディープラーニングアーキテクチャよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-27T17:30:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。