論文の概要: IBP Regularization for Verified Adversarial Robustness via Branch-and-Bound

• arxiv url: http://arxiv.org/abs/2206.14772v1
• Date: Wed, 29 Jun 2022 17:13:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-30 20:04:30.731385
• Title: IBP Regularization for Verified Adversarial Robustness via Branch-and-Bound
• Title（参考訳）: 分岐境界による正逆ロバスト性検証のためのIPB正規化
• Authors: Alessandro De Palma, Rudy Bunel, Krishnamurthy Dvijotham, M. Pawan Kumar, Robert Stanforth
• Abstract要約: IBP-Rは, どちらも簡便なトレーニングアルゴリズムである。 また、$beta$-CROWNに基づく新しいロバスト性であるUPBを提示し、最先端の分岐アルゴリズムのコストを削減する。
• 参考スコア（独自算出の注目度）: 85.6899802468343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works have tried to increase the verifiability of adversarially trained networks by running the attacks over domains larger than the original perturbations and adding various regularization terms to the objective. However, these algorithms either underperform or require complex and expensive stage-wise training procedures, hindering their practical applicability. We present IBP-R, a novel verified training algorithm that is both simple and effective. IBP-R induces network verifiability by coupling adversarial attacks on enlarged domains with a regularization term, based on inexpensive interval bound propagation, that minimizes the gap between the non-convex verification problem and its approximations. By leveraging recent branch-and-bound frameworks, we show that IBP-R obtains state-of-the-art verified robustness-accuracy trade-offs for small perturbations on CIFAR-10 while training significantly faster than relevant previous work. Additionally, we present UPB, a novel branching strategy that, relying on a simple heuristic based on $\beta$-CROWN, reduces the cost of state-of-the-art branching algorithms while yielding splits of comparable quality.
• Abstract（参考訳）: 最近の研究は、元の摂動よりも大きいドメインに対する攻撃を実行し、目的に様々な正規化条件を加えることで、敵の訓練されたネットワークの検証可能性を高めようとしている。 しかし、これらのアルゴリズムは性能が劣るか、複雑で高価な段階的な訓練手順を必要とするかのいずれかであり、実際の適用性を妨げている。 IBP-Rは、単純かつ効果的に検証された新しいトレーニングアルゴリズムである。 IBP-Rは、非凸検証問題と近似とのギャップを最小限に抑えるために、低間隔境界伝播に基づく正規化項で拡張されたドメインに対する敵攻撃を結合することにより、ネットワークの妥当性を誘導する。 近年のブランチ・アンド・バウンド・フレームワークを活用することで,ICP-RはCIFAR-10上での小さな摂動に対して,従来よりもはるかに高速なトレーニングを行いながら,最先端のロバスト性-精度トレードオフが得られることを示す。 さらに、$\beta$-crownに基づく単純なヒューリスティックに依存する、新しい分岐戦略であるupbを提案する。

関連論文リスト

• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Understanding Certified Training with Interval Bound Propagation [6.688598900034783]
  確実に堅牢なニューラルネットワークのトレーニングが、ますます重要になっている。 Inrecise interval bound propagation (IBP) に基づくトレーニング手法は、より正確なバウンディング手法を利用する場合よりも一貫して優れていることを示す。 このことは、厳密なIPP境界に必要な強い正規化を誘発しない新しい訓練方法の存在を示唆している。
  論文  参考訳（メタデータ） (2023-06-17T21:13:30Z)
• Improving Robust Generalization by Direct PAC-Bayesian Bound Minimization [27.31806334022094]
  最近の研究では、敵の攻撃に対して訓練されたモデルが、テストセットよりも高い堅牢性を示すという、オーバーフィッティングのような現象が示されている。 本稿では、ロバストなPAC-ベイジアン境界の異なる形式を考察し、モデル後部に関して直接最小化する。 我々は、視覚変換器(ViT)を用いたCIFAR-10/100とImageNetに対するTrH正規化手法を評価し、ベースライン対向ロバスト性アルゴリズムと比較した。
  論文  参考訳（メタデータ） (2022-11-22T23:12:00Z)
• On the Convergence of Certified Robust Training with Interval Bound Propagation [147.77638840942447]
  IBPトレーニングの収束に関する理論的解析を行った。 IBPトレーニングを用いてランダムに2層ReLUニューラルネットワークをロジスティック損失でトレーニングする場合、勾配降下はゼロロバストトレーニングエラーに線形収束可能であることを示す。
  論文  参考訳（メタデータ） (2022-03-16T21:49:13Z)
• Back to Basics: Efficient Network Compression via IMP [22.586474627159287]
  イテレーティブ・マグニチュード・プルーニング(IMP)は、ネットワーク・プルーニングにおける最も確立されたアプローチの1つである。 IMPは、トレーニングフェーズにスパーシフィケーションを組み込まないことで、最適以下の状態に達するとしばしば主張される。 再学習のためのSLRを用いたIMPは、最先端のプルーニング訓練手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-11-01T11:23:44Z)
• Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition [161.09660864941603]
  ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。 活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。 BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
  論文  参考訳（メタデータ） (2021-04-14T09:22:42Z)
• Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
  ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。 DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。 有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
  論文  参考訳（メタデータ） (2021-02-23T18:56:13Z)
• Fast and Complete: Enabling Complete Neural Network Verification with Rapid and Massively Parallel Incomplete Verifiers [112.23981192818721]
  BaB プロセス中に線形計画法 (LP) を置き換えるために, 逆モード線形緩和に基づく解析法 (LiRPA) を提案する。 LPとは異なり、LiRPAを適用すると、より弱い境界が得られ、分割時にサブドメインのコンフリクトをチェックすることもできない。 既存のLPベースのアプローチと比較して、桁違いのスピードアップを示す。
  論文  参考訳（メタデータ） (2020-11-27T16:42:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。