論文の概要: Understanding Certified Training with Interval Bound Propagation

• arxiv url: http://arxiv.org/abs/2306.10426v2
• Date: Tue, 27 Feb 2024 20:14:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 19:01:36.760298
• Title: Understanding Certified Training with Interval Bound Propagation
• Title（参考訳）: 区間境界伝搬による認定訓練の理解
• Authors: Yuhao Mao, Mark Niklas M\"uller, Marc Fischer, Martin Vechev
• Abstract要約: 確実に堅牢なニューラルネットワークのトレーニングが、ますます重要になっている。 Inrecise interval bound propagation (IBP) に基づくトレーニング手法は、より正確なバウンディング手法を利用する場合よりも一貫して優れていることを示す。 このことは、厳密なIPP境界に必要な強い正規化を誘発しない新しい訓練方法の存在を示唆している。
• 参考スコア（独自算出の注目度）: 6.688598900034783
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As robustness verification methods are becoming more precise, training certifiably robust neural networks is becoming ever more relevant. To this end, certified training methods compute and then optimize an upper bound on the worst-case loss over a robustness specification. Curiously, training methods based on the imprecise interval bound propagation (IBP) consistently outperform those leveraging more precise bounding methods. Still, we lack an understanding of the mechanisms making IBP so successful. In this work, we thoroughly investigate these mechanisms by leveraging a novel metric measuring the tightness of IBP bounds. We first show theoretically that, for deep linear models, tightness decreases with width and depth at initialization, but improves with IBP training, given sufficient network width. We, then, derive sufficient and necessary conditions on weight matrices for IBP bounds to become exact and demonstrate that these impose strong regularization, explaining the empirically observed trade-off between robustness and accuracy in certified training. Our extensive experimental evaluation validates our theoretical predictions for ReLU networks, including that wider networks improve performance, yielding state-of-the-art results. Interestingly, we observe that while all IBP-based training methods lead to high tightness, this is neither sufficient nor necessary to achieve high certifiable robustness. This hints at the existence of new training methods that do not induce the strong regularization required for tight IBP bounds, leading to improved robustness and standard accuracy.
• Abstract（参考訳）: 堅牢性検証の手法がより正確になるにつれて、堅牢性のあるニューラルネットワークのトレーニングがますます重要になっている。 この目的のために、認定トレーニングメソッドは、堅牢性仕様よりも最悪のケース損失の上限を計算し、最適化する。 皮肉なことに、不正確な間隔境界伝播(IBP)に基づく訓練法は、より正確なバウンディング法を利用する方法よりも一貫して優れている。 しかし、我々はippを成功させるメカニズムについて理解していない。 本研究は,IPP境界の密度を計測する新しい測定基準を利用して,これらのメカニズムを徹底的に検討する。 まず, ディープリニアモデルでは, 初期化時の幅と深さでタイトネスが減少するが, ネットワーク幅が十分であればippトレーニングにより改善することを示す。 そして,IPP境界の重量行列に関する十分かつ必要な条件を導出し,これらが厳密な正則化を課していることを示し,認定トレーニングにおける堅牢性と精度のトレードオフを実証的に検証した。 広範囲な実験により,ReLUネットワークの理論的予測が検証され,ネットワークの性能が向上し,最先端の結果が得られた。 興味深いことに、全てのIPPベースのトレーニング手法は、高い厳密性をもたらすが、高い認証性を達成するには不十分であり、必要ではない。 このことは、厳密なIPB境界に必要な強い正規化を誘発しない新たなトレーニング方法の存在を示唆しており、堅牢性と標準精度の向上につながっている。

関連論文リスト

• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• CARE: Certifiably Robust Learning with Reasoning via Variational Inference [26.210129662748862]
  推論パイプライン(CARE)を用いた頑健な学習を提案する。 CAREは、最先端のベースラインに比べて、かなり高い信頼性のロバスト性を達成する。 さらに,CAREの実証的ロバスト性および知識統合の有効性を示すために,異なるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-09-12T07:15:52Z)
• IBP Regularization for Verified Adversarial Robustness via Branch-and-Bound [85.6899802468343]
  IBP-Rは, どちらも簡便なトレーニングアルゴリズムである。 また、$beta$-CROWNに基づく新しいロバスト性であるUPBを提示し、最先端の分岐アルゴリズムのコストを削減する。
  論文  参考訳（メタデータ） (2022-06-29T17:13:25Z)
• On the Convergence of Certified Robust Training with Interval Bound Propagation [147.77638840942447]
  IBPトレーニングの収束に関する理論的解析を行った。 IBPトレーニングを用いてランダムに2層ReLUニューラルネットワークをロジスティック損失でトレーニングする場合、勾配降下はゼロロバストトレーニングエラーに線形収束可能であることを示す。
  論文  参考訳（メタデータ） (2022-03-16T21:49:13Z)
• Towards Scaling Difference Target Propagation by Learning Backprop Targets [64.90165892557776]
  Different Target Propagationは,Gauss-Newton(GN)最適化と密接な関係を持つ生物学的に証明可能な学習アルゴリズムである。 本稿では、DTPがBPを近似し、階層的なフィードバックウェイトトレーニングを復元できる新しいフィードバックウェイトトレーニング手法を提案する。 CIFAR-10 と ImageNet 上で DTP が達成した最高の性能について報告する。
  論文  参考訳（メタデータ） (2022-01-31T18:20:43Z)
• Fast Certified Robust Training via Better Initialization and Shorter Warmup [95.81628508228623]
  我々は,新しいIPPと原理正規化器を提案し,認証境界を安定化させる。 バッチ正規化(BN)は、認定トレーニングのための最高のパフォーマンスのネットワークを構築するための重要なアーキテクチャ要素です。
  論文  参考訳（メタデータ） (2021-03-31T17:58:58Z)
• The Benefit of the Doubt: Uncertainty Aware Sensing for Edge Computing Platforms [10.86298377998459]
  組込みエッジシステム上に展開されたNNにおける予測不確実性推定のための効率的なフレームワークを提案する。 フレームワークは1つのフォワードパスのみに基づいて予測の不確実性を提供するために、ゼロから構築されている。 提案手法は, 堅牢かつ正確な不確実性推定だけでなく, システム性能の点で最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-02-11T11:44:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。