論文の概要: Boundary thickness and robustness in learning models

• arxiv url: http://arxiv.org/abs/2007.05086v2
• Date: Tue, 12 Jan 2021 19:54:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-12 03:40:10.368242
• Title: Boundary thickness and robustness in learning models
• Title（参考訳）: 学習モデルにおける境界厚さと堅牢性
• Authors: Yaoqing Yang, Rajiv Khanna, Yaodong Yu, Amir Gholami, Kurt Keutzer, Joseph E. Gonzalez, Kannan Ramchandran, Michael W. Mahoney
• Abstract要約: より厚い境界は、敵の例に対する堅牢性を向上させることが示される。 トレーニング中の境界厚さの最大化は,いわゆるミキサアップトレーニングと類似していることが確認された。
• 参考スコア（独自算出の注目度）: 94.9372274886004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robustness of machine learning models to various adversarial and non-adversarial corruptions continues to be of interest. In this paper, we introduce the notion of the boundary thickness of a classifier, and we describe its connection with and usefulness for model robustness. Thick decision boundaries lead to improved performance, while thin decision boundaries lead to overfitting (e.g., measured by the robust generalization gap between training and testing) and lower robustness. We show that a thicker boundary helps improve robustness against adversarial examples (e.g., improving the robust test accuracy of adversarial training) as well as so-called out-of-distribution (OOD) transforms, and we show that many commonly-used regularization and data augmentation procedures can increase boundary thickness. On the theoretical side, we establish that maximizing boundary thickness during training is akin to the so-called mixup training. Using these observations, we show that noise-augmentation on mixup training further increases boundary thickness, thereby combating vulnerability to various forms of adversarial attacks and OOD transforms. We can also show that the performance improvement in several lines of recent work happens in conjunction with a thicker boundary.
• Abstract（参考訳）: さまざまな敵対的および非敵対的腐敗に対する機械学習モデルの堅牢性は、依然として注目されている。 本稿では,分類器の境界厚さの概念を導入し,その関係とモデルロバスト性の有用性について述べる。 厚い決定境界は性能を向上し、薄い決定境界は過剰適合(例えば、トレーニングとテストの間の堅牢な一般化ギャップによって測定される)と低い堅牢性をもたらす。 より厚い境界は、敵の例に対する堅牢性(例えば、敵の訓練の堅牢性テスト精度の向上)といわゆるアウト・オブ・ディストリビューション(OOD)変換の改善に役立つことを示す。 理論的には、トレーニング中の境界の厚さを最大化することは、いわゆるミックスアップトレーニングに似ている。 これらの結果から,混合訓練における雑音増強は境界厚さをさらに増加させ,様々な形態の敵攻撃やOOD変換に対する脆弱性に対処することを示した。 また、最近の作業のいくつかの行のパフォーマンス改善は、より厚い境界と共に起こることも示せる。

関連論文リスト

• Exploring the Adversarial Frontier: Quantifying Robustness via Adversarial Hypervolume [17.198794644483026]
  本稿では,様々な摂動強度に対して総合的に深層学習モデルの頑健性を評価するための,対向超体積と呼ばれる新しい計量法を提案する。 我々は,様々な摂動強度の対向的堅牢性を均一に向上する新しいトレーニングアルゴリズムを採用する。 本研究はロバスト性の新しい尺度に寄与し、敵の脅威に対するベンチマーク評価と、現在および将来の防御モデルのレジリエンスの基準を確立する。
  論文  参考訳（メタデータ） (2024-03-08T07:03:18Z)
• Latent Boundary-guided Adversarial Training [61.43040235982727]
  モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。 本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-08T07:40:55Z)
• Enhancing Adversarial Robustness for Deep Metric Learning [77.75152218980605]
  深層学習モデルの対角的堅牢性を改善する必要がある。 過度にハードな例によるモデル崩壊を避けるため、既存の守備隊はmin-max対逆訓練を中止した。 本研究では, 対人訓練において, 一定の硬度までトレーニング三重奏を効率よく摂動させる硬度操作を提案する。
  論文  参考訳（メタデータ） (2022-03-02T22:27:44Z)
• Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
  入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。 本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。 当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
  論文  参考訳（メタデータ） (2021-10-29T13:30:42Z)
• Bridged Adversarial Training [6.925055322530057]
  また, 対向学習モデルでは, 類似した強靭性を示しても, マージンや滑らかさの点で, 著しく異なる特性を持つ可能性が示唆された。 本研究は, 異なる正則化剤の効果を考察し, 正則化剤がマージンを最大化する際の負の効果を見出した。 そこで本稿では, クリーンと逆の両例のギャップを埋めることにより, 負の効果を緩和するブリッジ・ディバイサル・トレーニングという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-25T09:11:59Z)
• Mixture of Robust Experts (MoRE): A Flexible Defense Against Multiple Perturbations [33.868833849116044]
  MoRE(Mixture of Robust Experts)アプローチは、幅広い堅牢な専門家と優れたパフォーマンスの柔軟な統合を可能にする。 本研究では,ゲーティング機構を用いて,特定の摂動タイプに対処するために,あるいは通常はクリーンデータの正確性を高めるために訓練された専門家ネットワークの組を組み立てる。
  論文  参考訳（メタデータ） (2021-04-21T15:27:07Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Improving Resistance to Adversarial Deformations by Regularizing Gradients [10.134076865146405]
  本稿では, 位置摂動の典型的なクラスである対向変形に着目し, モデルの抵抗性を改善するための流れ勾配正規化を提案する。 実験結果から,フロー勾配で学習したモデルでは,入力勾配で学習したモデルよりも高い抵抗性が得られることが示唆された。
  論文  参考訳（メタデータ） (2020-08-29T15:28:23Z)
• Learning perturbation sets for robust machine learning [97.6757418136662]
  我々は、潜在空間の制約領域上に設定された摂動を定義する条件生成器を用いる。 学習した摂動集合の質を定量的かつ質的に測定する。 我々は、学習した摂動集合を利用して、敵画像の破損や逆光の変動に対して経験的かつ確実に堅牢なモデルを訓練する。
  論文  参考訳（メタデータ） (2020-07-16T16:39:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。