論文の概要: Adversarial Training and Provable Robustness: A Tale of Two Objectives
- arxiv url: http://arxiv.org/abs/2008.06081v3
- Date: Mon, 1 Mar 2021 18:07:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-30 22:36:36.788308
- Title: Adversarial Training and Provable Robustness: A Tale of Two Objectives
- Title（参考訳）: 敵対的訓練と証明可能な堅牢性:2つの目的の物語
- Authors: Jiameng Fan, Wenchao Li
- Abstract要約: 実験と証明可能なロバストネスの両目的を用いた共同最適化問題としてトレーニング問題を定式化する。
我々は,多段階の偏差を排除できる新しい勾配発光法を開発した。
MNIST と CIFAR-10 で得られた結果から,提案手法は既成の l 無限大頑健性に対する先行手法と一貫して一致し,より優れることが示された。
- 参考スコア（独自算出の注目度）: 11.088349641436333
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a principled framework that combines adversarial training and
provable robustness verification for training certifiably robust neural
networks. We formulate the training problem as a joint optimization problem
with both empirical and provable robustness objectives and develop a novel
gradient-descent technique that can eliminate bias in stochastic
multi-gradients. We perform both theoretical analysis on the convergence of the
proposed technique and experimental comparison with state-of-the-arts. Results
on MNIST and CIFAR-10 show that our method can consistently match or outperform
prior approaches for provable l infinity robustness. Notably, we achieve 6.60%
verified test error on MNIST at epsilon = 0.3, and 66.57% on CIFAR-10 with
epsilon = 8/255.
- Abstract（参考訳）: 本稿では,敵対的トレーニングと証明可能なロバスト性検証を組み合わせたニューラルネットワークのトレーニングフレームワークを提案する。
本研究では,経験的かつ証明可能なロバスト性目標を併用した共同最適化問題としてトレーニング問題を定式化し,確率的多段階の偏りを排除できる新しい勾配-蛍光法を開発した。
提案手法の収束に関する理論的解析と最先端技術との比較を行った。
mnist と cifar-10 の結果,本手法は証明可能な l infinity robustness の先行手法と一貫して一致するか,より優れることが示された。
特に, epsilon = 0.3でmnistで6.60%, cifar-10で66.57%, epsilon = 8/255で検証した。
関連論文リスト
- Adversarial Training Can Provably Improve Robustness: Theoretical Analysis of Feature Learning Process Under Structured Data [38.44734564565478]
本稿では, 特徴学習理論の観点から, 対角的例と対角的学習アルゴリズムの理論的理解を提供する。
本手法は,頑健な特徴学習を効果的に強化し,非ロバストな特徴学習を抑えることができることを示す。
論文 参考訳（メタデータ） (2024-10-11T03:59:49Z) - TFG: Unified Training-Free Guidance for Diffusion Models [82.14536097768632]
トレーニング不要のガイダンスは、追加のトレーニングなしで望ましい目標特性を持つサンプルを生成することができる。
既存の手法は様々な個別の用途で有効であるが、理論的な根拠と広範囲なベンチマークでの厳密な試験が欠如していることが多い。
本稿では,既存の手法を特殊な事例として包含する新しいアルゴリズムフレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-24T05:31:17Z) - Revisiting Semi-supervised Adversarial Robustness via Noise-aware Online Robust Distillation [26.156531376140652]
SNORDは、現代の半教師あり学習技術を対人訓練の領域に導入するフレームワークである。
SNORDは、さまざまなデータセットとラベルの予算にまたがって、印象的で最先端のパフォーマンスを誇示している。
完全な敵監督と比較すると、SNORDはエプシロン=8/255オートアタックの下で90%の相対的な堅牢な精度を達成している。
論文 参考訳（メタデータ） (2024-09-19T17:55:32Z) - Enhancing Adversarial Training via Reweighting Optimization Trajectory [72.75558017802788]
余分な正規化、敵の重み付け、より多くのデータによるトレーニングといった欠点に対処するいくつかのアプローチが提案されている。
本稿では, 時間内学習の最適化トラジェクトリを利用するtextbfWeighted Optimization Trajectories (WOT) を提案する。
以上の結果から,WOTは既存の対人訓練手法とシームレスに統合され,頑健なオーバーフィッティング問題を一貫して克服していることがわかった。
論文 参考訳（メタデータ） (2023-06-25T15:53:31Z) - A Comprehensive Study on Robustness of Image Classification Models:
Benchmarking and Rethinking [54.89987482509155]
ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。
画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。
それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
論文 参考訳（メタデータ） (2023-02-28T04:26:20Z) - Robustness Evaluation and Adversarial Training of an Instance
Segmentation Model [0.0]
確率的局所同値性は,標準学習モデルと逆学習モデルとを区別できることを示す。
確率的局所同値性は,標準学習モデルと逆学習モデルとを区別できることを示す。
論文 参考訳（メタデータ） (2022-06-02T02:18:09Z) - Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。
本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。
当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
論文 参考訳（メタデータ） (2021-10-29T13:30:42Z) - A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via
Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。
実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2020-12-25T20:50:15Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳（メタデータ） (2020-10-26T04:44:43Z) - Improving the affordability of robustness training for DNNs [11.971637253035107]
逆行訓練の初期段階は冗長であり、計算効率を大幅に向上させる自然な訓練に置き換えることができることを示す。
提案手法は, 各種敵攻撃の強みに対するモデルテスト精度と一般化により, 最大2.5倍の訓練時間を短縮できることを示す。
論文 参考訳（メタデータ） (2020-02-11T07:29:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。