論文の概要: A Closer Look at Accuracy vs. Robustness

• arxiv url: http://arxiv.org/abs/2003.02460v3
• Date: Sun, 12 Jul 2020 19:59:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 06:52:35.288967
• Title: A Closer Look at Accuracy vs. Robustness
• Title（参考訳）: 正確さとロバストさの近さ
• Authors: Yao-Yuan Yang, Cyrus Rashtchian, Hongyang Zhang, Ruslan Salakhutdinov, Kamalika Chaudhuri
• Abstract要約: 堅牢なネットワークをトレーニングする現在の方法は、テスト精度の低下につながる。 実際の画像データセットが実際に分離されていることを示す。 我々は、実際に堅牢性と精度を達成するには、局所的なリプシッツを強制する手法を使う必要があると結論付けている。
• 参考スコア（独自算出の注目度）: 94.2226357646813
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current methods for training robust networks lead to a drop in test accuracy, which has led prior works to posit that a robustness-accuracy tradeoff may be inevitable in deep learning. We take a closer look at this phenomenon and first show that real image datasets are actually separated. With this property in mind, we then prove that robustness and accuracy should both be achievable for benchmark datasets through locally Lipschitz functions, and hence, there should be no inherent tradeoff between robustness and accuracy. Through extensive experiments with robustness methods, we argue that the gap between theory and practice arises from two limitations of current methods: either they fail to impose local Lipschitzness or they are insufficiently generalized. We explore combining dropout with robust training methods and obtain better generalization. We conclude that achieving robustness and accuracy in practice may require using methods that impose local Lipschitzness and augmenting them with deep learning generalization techniques. Code available at https://github.com/yangarbiter/robust-local-lipschitz
• Abstract（参考訳）: 現在の堅牢なネットワークをトレーニングする方法は、テスト精度の低下につながる。 この現象を詳しく見て、まず実際の画像データセットが実際に分離されていることを示す。 この性質を念頭に置いて、局所リプシッツ関数によるベンチマークデータセットでは、堅牢性と正確性の両方が実現可能であることを証明し、従って、堅牢性と正確性の間に固有のトレードオフは存在してはならない。 ロバストネス法による広範な実験を通じて、理論と実践のギャップは、局所的なリプシッツネスを課すのに失敗するか、あるいは不十分に一般化されるかの2つの方法の制限から生じると論じる。 我々は、ドロップアウトと堅牢なトレーニング手法の組み合わせを検討し、より良い一般化を得る。 我々は,局所的なリプシッツ性を課し,それを深層学習一般化技術で強化する手法を用いる必要があると結論付けた。 コードはhttps://github.com/yangarbiter/robust-local-lipschitzで利用可能

関連論文リスト

• 1-Lipschitz Layers Compared: Memory, Speed, and Certifiable Robustness [22.09354138194545]
  境界等級の入力摂動に対するニューラルネットワークの堅牢性は、ディープラーニングモデルの安全クリティカルシステムへの展開において深刻な関心事である。 近年、科学コミュニティは、リプシッツ境界層と畳み込み層を利用する1-Lipschitzニューラルネットワークを構築することで、証明可能な堅牢性を保証することに重点を置いている。 本稿では, メモリ使用量, 速度, 証明可能なロバストな精度で評価することで, 提案手法の理論的, 実証的な比較を行う。
  論文  参考訳（メタデータ） (2023-11-28T14:50:50Z)
• Certified Robustness via Dynamic Margin Maximization and Improved Lipschitz Regularization [43.98504250013897]
  我々は、弱い方向に沿ってモデルのリプシッツ定数を規則化しながら、出力(ロジット)空間のマージンを増大させる頑健なトレーニングアルゴリズムを開発する。 境界の相対的精度は過剰な正規化を防ぎ、決定境界をより直接的に操作することができる。 MNIST, CIFAR-10 および Tiny-ImageNet データセットを用いた実験により,提案アルゴリズムが最先端技術と比較して競争力に向上した結果が得られることを確認した。
  論文  参考訳（メタデータ） (2023-09-29T20:07:02Z)
• The Lipschitz-Variance-Margin Tradeoff for Enhanced Randomized Smoothing [85.85160896547698]
  ディープニューラルネットワークの現実的な応用は、ノイズの多い入力や敵攻撃に直面した場合、その不安定な予測によって妨げられる。 入力にノイズ注入を頼りに、認証された半径を持つ効率的な分類器を設計する方法を示す。 新たな認証手法により、ランダムな平滑化による事前学習モデルの使用が可能となり、ゼロショット方式で現在の認証半径を効果的に改善できる。
  論文  参考訳（メタデータ） (2023-09-28T22:41:47Z)
• (Almost) Provable Error Bounds Under Distribution Shift via Disagreement Discrepancy [8.010528849585937]
  我々は、ラベルのないテストデータを用いて、分散シフト中のディープニューラルネットワークのエラーに対して(ほぼ)保証された上限を導出する。 特に、我々の境界は単純で直感的な条件を必要とし、これは以前の経験的な研究によって十分に正当化される。 この損失は、マルチクラス不一致の最大化を必要とする将来のメソッドのドロップイン代替になることを期待しています。
  論文  参考訳（メタデータ） (2023-06-01T03:22:15Z)
• Improving the Accuracy-Robustness Trade-Off of Classifiers via Adaptive Smoothing [9.637143119088426]
  正誤例に対する頑健な基本分類器の信頼性差が,この改良の鍵となることを示す。 逆入力検出器を2つのベースモデルの混合を適応的に調整する混合ネットワークに適応させる。 提案したフレキシブルな手法は「適応的平滑化(adaptive smoothing)」と呼ばれ、クリーンな精度、堅牢性、あるいは敵検出を改善する既存のあるいは将来の方法と連携して機能する。
  論文  参考訳（メタデータ） (2023-01-29T22:05:28Z)
• Confidence-aware Training of Smoothed Classifiers for Certified Robustness [75.95332266383417]
  我々は「ガウス雑音下での精度」を、入力に対する対角的ロバスト性の容易に計算可能なプロキシとして利用する。 実験の結果, 提案手法は, 最先端の訓練手法による信頼性向上を継続的に示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-18T03:57:12Z)
• Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds [99.23098204458336]
  認証された堅牢性は、安全クリティカルなアプリケーションにおいて、ディープニューラルネットワークにとって望ましい性質である。 提案手法は,MNISTおよびTinyNetデータセットにおける最先端の手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-02T06:44:10Z)
• Adversarial Robustness under Long-Tailed Distribution [93.50792075460336]
  敵対的ロバスト性はディープネットワークの脆弱性と本質的特徴を明らかにすることで近年広く研究されている。 本研究では,長尾分布下における敵対的脆弱性と防御について検討する。 我々は、スケール不変とデータ再分散という2つの専用モジュールからなるクリーンで効果的なフレームワークであるRoBalを提案する。
  論文  参考訳（メタデータ） (2021-04-06T17:53:08Z)
• Learning Accurate Dense Correspondences and When to Trust Them [161.76275845530964]
  2つの画像に関連する密度の高い流れ場と、堅牢な画素方向の信頼度マップの推定を目指しています。 フロー予測とその不確実性を共同で学習するフレキシブルな確率的アプローチを開発する。 本手法は,幾何学的マッチングと光フローデータセットに挑戦する最新の結果を得る。
  論文  参考訳（メタデータ） (2021-01-05T18:54:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。