論文の概要: Certified Defenses: Why Tighter Relaxations May Hurt Training?

• arxiv url: http://arxiv.org/abs/2102.06700v1
• Date: Fri, 12 Feb 2021 18:57:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-15 23:07:42.022990
• Title: Certified Defenses: Why Tighter Relaxations May Hurt Training?
• Title（参考訳）: 認定防衛:なぜリラクゼーションがトレーニングを損なうのか?
• Authors: Nikola Jovanovi\'c, Mislav Balunovi\'c, Maximilian Baader, Martin Vechev
• Abstract要約: より厳しいリラクゼーションでトレーニングすると、認定された堅牢性が悪化します。 トレーニングダイナミクスに影響を与えるリラクゼーションの2つの重要な特徴を特定します。 初めて、よりタイトなリラクゼーションでトレーニングを成功させることが可能です。
• 参考スコア（独自算出の注目度）: 12.483260526189447
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Certified defenses based on convex relaxations are an established technique for training provably robust models. The key component is the choice of relaxation, varying from simple intervals to tight polyhedra. Paradoxically, however, it was empirically observed that training with tighter relaxations can worsen certified robustness. While several methods were designed to partially mitigate this issue, the underlying causes are poorly understood. In this work we investigate the above phenomenon and show that tightness may not be the determining factor for reduced certified robustness. Concretely, we identify two key features of relaxations that impact training dynamics: continuity and sensitivity. We then experimentally demonstrate that these two factors explain the drop in certified robustness when using popular relaxations. Further, we show, for the first time, that it is possible to successfully train with tighter relaxations (i.e., triangle), a result supported by our two properties. Overall, we believe the insights of this work can help drive the systematic discovery of new effective certified defenses.
• Abstract（参考訳）: 凸リラクゼーションに基づく認定防御は、証明可能な堅牢なモデルを訓練するための確立された技術です。 主なコンポーネントは、単純な間隔からタイトなポリヘドラまで、リラクゼーションの選択です。 しかし、逆説的には、より厳しいリラクゼーションによるトレーニングが認定された堅牢性を悪化させる可能性があることが実証的に観察された。 いくつかの方法がこの問題を部分的に緩和するために設計されたが、根本原因はよく分かっていない。 本研究では,上記の現象を考察し,厳密性が認定ロバスト性低下の要因ではないことを示す。 具体的には、トレーニングダイナミクスに影響を与えるリラクゼーションの2つの重要な特徴を特定します。 次に,この2つの因子が,一般のリラクゼーション使用時のロバスト性の低下を説明することを実験的に証明した。 さらに、我々は初めて、より厳密な緩和(すなわち三角形)でうまくトレーニングできることを示し、これは我々の2つの性質によって支持される結果である。 全体として、この研究の洞察は、新しい効果的な認定防衛の体系的な発見を促進するのに役立つと考えています。

関連論文リスト

• Gaussian Loss Smoothing Enables Certified Training with Tight Convex Relaxations [14.061189994638667]
  敵の例に対して高い精度でニューラルネットワークを訓練することは、依然としてオープンな課題である。 厳密な凸緩和を効果的に活用し、バウンド計算を行う。 トレーニングでは、これらの手法は緩やかに緩和されるよりも悪い結果をもたらす可能性がある。 ガウシアン・ロス・スムーシングはこれらの問題を緩和できることを示す。
  論文  参考訳（メタデータ） (2024-03-11T18:44:36Z)
• Balance, Imbalance, and Rebalance: Understanding Robust Overfitting from a Minimax Game Perspective [80.51463286812314]
  敵対的訓練(AT)はおそらく、頑健な特徴を抽出するための最先端のアルゴリズムである。 ATは、特に学習率(LR)が崩壊した後、深刻な強固な過適合問題に悩まされる。 我々は, LR崩壊が, より強い記憶能力でトレーナーに力を与えることにより, ミニマックスゲーム間のバランスを損なうことを示す。
  論文  参考訳（メタデータ） (2023-10-30T09:00:11Z)
• Enhancing Adversarial Robustness for Deep Metric Learning [77.75152218980605]
  深層学習モデルの対角的堅牢性を改善する必要がある。 過度にハードな例によるモデル崩壊を避けるため、既存の守備隊はmin-max対逆訓練を中止した。 本研究では, 対人訓練において, 一定の硬度までトレーニング三重奏を効率よく摂動させる硬度操作を提案する。
  論文  参考訳（メタデータ） (2022-03-02T22:27:44Z)
• Bridged Adversarial Training [6.925055322530057]
  また, 対向学習モデルでは, 類似した強靭性を示しても, マージンや滑らかさの点で, 著しく異なる特性を持つ可能性が示唆された。 本研究は, 異なる正則化剤の効果を考察し, 正則化剤がマージンを最大化する際の負の効果を見出した。 そこで本稿では, クリーンと逆の両例のギャップを埋めることにより, 負の効果を緩和するブリッジ・ディバイサル・トレーニングという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-25T09:11:59Z)
• A Primer on Multi-Neuron Relaxation-based Adversarial Robustness Certification [6.71471794387473]
  敵対的な例は、ディープニューラルネットワークが現実世界に展開されるときに、本当に危険をもたらす。 本研究では,緩和に基づくロバスト性認証手法を記述するために,統一的な数学的枠組みを開発する。
  論文  参考訳（メタデータ） (2021-06-06T11:59:27Z)
• Adversarial Robustness under Long-Tailed Distribution [93.50792075460336]
  敵対的ロバスト性はディープネットワークの脆弱性と本質的特徴を明らかにすることで近年広く研究されている。 本研究では,長尾分布下における敵対的脆弱性と防御について検討する。 我々は、スケール不変とデータ再分散という2つの専用モジュールからなるクリーンで効果的なフレームワークであるRoBalを提案する。
  論文  参考訳（メタデータ） (2021-04-06T17:53:08Z)
• Overfitting or Underfitting? Understand Robustness Drop in Adversarial Training [34.83228408320053]
  本稿では、摂動生成をパラメータ化し、それらを徐々に強化する適応的対向訓練フレームワークAPARTを提案する。 APARTはPGD-10と同等かそれ以上の堅牢性を提供し、計算コストの約1/4しか提供していない。
  論文  参考訳（メタデータ） (2020-10-15T21:43:07Z)
• Towards Understanding Fast Adversarial Training [91.8060431517248]
  高速対人訓練の振る舞いを理解するために実験を行う。 その成功の鍵は、過度な適合から弱い攻撃への回復能力である。
  論文  参考訳（メタデータ） (2020-06-04T18:19:43Z)
• Feature Purification: How Adversarial Training Performs Robust Deep Learning [66.05472746340142]
  ニューラルネットワークのトレーニングプロセス中に隠れた重みに、特定の小さな密度の混合物が蓄積されることが、敵の例の存在の原因の1つであることを示す。 この原理を説明するために、CIFAR-10データセットの両実験と、ある自然な分類タスクに対して、ランダムな勾配勾配勾配を用いた2層ニューラルネットワークをトレーニングすることを証明する理論的結果を示す。
  論文  参考訳（メタデータ） (2020-05-20T16:56:08Z)
• Improving the Tightness of Convex Relaxation Bounds for Training Certifiably Robust Classifiers [72.56180590447835]
  凸緩和は、ノルムバウンドの敵攻撃に対するトレーニングとニューラルネットワークの認証に有効であるが、認証と経験的堅牢性の間に大きなギャップを残している。 非正規化ベースラインよりも高い精度でトレーニング可能なニューラルネットワークのトレーニングに使用できる2つの実験を提案する。
  論文  参考訳（メタデータ） (2020-02-22T20:19:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。