論文の概要: Improving Adversarial Robustness Using Proxy Distributions

• arxiv url: http://arxiv.org/abs/2104.09425v1
• Date: Mon, 19 Apr 2021 16:17:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:18:21.400731
• Title: Improving Adversarial Robustness Using Proxy Distributions
• Title（参考訳）: プロキシ分布を用いた対向ロバスト性の改善
• Authors: Vikash Sehwag, Saeed Mahloujifar, Tinashe Handina, Sihui Dai, Chong Xiang, Mung Chiang, Prateek Mittal
• Abstract要約: プロキシの分布は 無制限の画像のサンプリングを可能にし 敵の堅牢性を向上します 2Kから10Mの画像上でディープニューラルネットワークをトレーニングすることにより、精度対ロバスト性トレードオフと対向トレーニングのサンプル複雑さを初めて大規模に調査する。
• 参考スコア（独自算出の注目度）: 31.97628959084632
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We focus on the use of proxy distributions, i.e., approximations of the underlying distribution of the training dataset, in both understanding and improving the adversarial robustness in image classification. While additional training data helps in adversarial training, curating a very large number of real-world images is challenging. In contrast, proxy distributions enable us to sample a potentially unlimited number of images and improve adversarial robustness using these samples. We first ask the question: when does adversarial robustness benefit from incorporating additional samples from the proxy distribution in the training stage? We prove that the difference between the robustness of a classifier on the proxy and original training dataset distribution is upper bounded by the conditional Wasserstein distance between them. Our result confirms the intuition that samples from a proxy distribution that closely approximates training dataset distribution should be able to boost adversarial robustness. Motivated by this finding, we leverage samples from state-of-the-art generative models, which can closely approximate training data distribution, to improve robustness. In particular, we improve robust accuracy by up to 6.1% and 5.7% in $l_{\infty}$ and $l_2$ threat model, and certified robust accuracy by 6.7% over baselines not using proxy distributions on the CIFAR-10 dataset. Since we can sample an unlimited number of images from a proxy distribution, it also allows us to investigate the effect of an increasing number of training samples on adversarial robustness. Here we provide the first large scale empirical investigation of accuracy vs robustness trade-off and sample complexity of adversarial training by training deep neural networks on 2K to 10M images.
• Abstract（参考訳）: 画像分類における逆ロバスト性の理解と改善の両面において,トレーニングデータセットの基盤となる分布の近似として,プロキシ分布の利用に注目した。 追加のトレーニングデータは、敵対的なトレーニングに役立つが、膨大な数の現実世界の画像のキュレーションは困難である。 対照的に、プロキシ分布は、潜在的に無制限な数のイメージをサンプリングし、これらのサンプルを使用して敵のロバスト性を改善することができる。 敵のロバスト性は、いつトレーニング段階でプロキシディストリビューションから追加のサンプルを組み込むことの恩恵を受けるのか? プロキシ上の分類器のロバスト性と元のトレーニングデータセット分布との差は条件付きワッサースタイン距離によって上限される。 この結果から,トレーニングデータセット分布を近似したプロキシ分布からのサンプルは,対向的ロバスト性を高めることができると考えられた。 この発見に触発されて、トレーニングデータの分布を正確に近似できる最先端の生成モデルからのサンプルを活用し、堅牢性を向上させる。 特に、ロバスト精度を最大6.1%、$l_{\infty}$および$l_2$脅威モデルで5.7%向上させ、cifar-10データセットのプロキシディストリビューションを使用しないベースラインよりも6.7%向上させた。 プロキシ分布から無制限のイメージをサンプリングできるので,トレーニングサンプルの増加が対向的ロバスト性に与える影響を調べることもできる。 ここでは,2kから10m画像の深層ニューラルネットワークを訓練することにより,精度とロバスト性とのトレードオフ,および敵訓練のサンプル複雑性について,最初の大規模実験を行った。

関連論文リスト

• CPSample: Classifier Protected Sampling for Guarding Training Data During Diffusion [58.64822817224639]
  拡散モデルはトレーニングデータを正確に再現する傾向がある。 CPSampleは,画像品質を保ちながら,トレーニングデータの複製を防止するためにサンプリングプロセスを変更する手法である。 CPSample は CIFAR-10 と CelebA-64 でそれぞれ 4.97 と 2.97 の FID スコアを達成している。
  論文  参考訳（メタデータ） (2024-09-11T05:42:01Z)
• Improved Distribution Matching Distillation for Fast Image Synthesis [54.72356560597428]
  この制限を解除し、MDDトレーニングを改善する一連の技術であるMDD2を紹介する。 まず、回帰損失と高価なデータセット構築の必要性を排除します。 第2に, GAN損失を蒸留工程に統合し, 生成した試料と実画像との識別を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:59:49Z)
• FACTUAL: A Novel Framework for Contrastive Learning Based Robust SAR Image Classification [10.911464455072391]
  FACTUALは、逆行訓練と堅牢なSAR分類のためのコントラストラーニングフレームワークである。 本モデルでは, 洗浄試料の99.7%, 摂動試料の89.6%の精度が得られた。
  論文  参考訳（メタデータ） (2024-04-04T06:20:22Z)
• Benchmarking Zero-Shot Robustness of Multimodal Foundation Models: A Pilot Study [61.65123150513683]
  CLIPのようなマルチモーダル基盤モデルは、最先端のゼロショット結果を生成する。 これらのモデルは、ImageNetでトレーニングされた教師付きモデルのパフォーマンスを一致させることで、ロバスト性ギャップを埋めることが報告されている。 CLIPは、ベンチマーク上の教師付きImageNetモデルと比較して、かなりの堅牢性低下をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-03-15T17:33:49Z)
• DE-CROP: Data-efficient Certified Robustness for Pretrained Classifiers [21.741026088202126]
  そこで本研究では,いくつかのトレーニングサンプルを用いて,事前学習したモデルのロバスト性を証明する新しい手法を提案する。 提案手法は,各トレーニングサンプルに対応するクラス境界および補間標本を生成する。 複数のベンチマークデータセットのベースラインに対する大幅な改善と、課題のあるブラックボックス設定の下でも同様のパフォーマンスを報告しています。
  論文  参考訳（メタデータ） (2022-10-17T10:41:18Z)
• Efficient Adversarial Training With Data Pruning [26.842714298874192]
  我々は,データプルーニングが,対人訓練の収束と信頼性の向上につながることを示す。 一部の設定では、データのプルーニングは両方の世界の利点をもたらします。
  論文  参考訳（メタデータ） (2022-07-01T23:54:46Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• DAD: Data-free Adversarial Defense at Test Time [21.741026088202126]
  ディープモデルは敵の攻撃に非常に敏感である。 プライバシは、トレーニングデータではなく、トレーニングされたモデルのみへのアクセスを制限する、重要な関心事になっている。 我々は,「訓練データと統計値の欠如によるテスト時敵防衛」という全く新しい問題を提案する。
  論文  参考訳（メタデータ） (2022-04-04T15:16:13Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• Robust Federated Learning: The Case of Affine Distribution Shifts [41.27887358989414]
  我々は,ユーザのサンプルの分布変化に対して良好な性能を実現するための,堅牢なフェデレーション学習アルゴリズムを開発した。 新しいテストユーザにおいて,アフィン分布シフトは学習者分類器の性能を著しく低下させるのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-06-16T03:43:59Z)
• Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
  既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。 本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。 ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-13T08:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。