論文の概要: Fast Certified Robust Training via Better Initialization and Shorter Warmup

• arxiv url: http://arxiv.org/abs/2103.17268v1
• Date: Wed, 31 Mar 2021 17:58:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-01 14:50:31.203096
• Title: Fast Certified Robust Training via Better Initialization and Shorter Warmup
• Title（参考訳）: より良い初期化と短いウォームアップによる高速認定ロバストトレーニング
• Authors: Zhouxing Shi, Yihan Wang, Huan Zhang, Jinfeng Yi, Cho-Jui Hsieh
• Abstract要約: 我々は,新しいIPPと原理正規化器を提案し,認証境界を安定化させる。 バッチ正規化(BN)は、認定された防御のための最高のパフォーマンスのネットワークを構築するための重要なアーキテクチャ要素です。
• 参考スコア（独自算出の注目度）: 95.81628508228623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, bound propagation based certified adversarial defense have been proposed for training neural networks with certifiable robustness guarantees. Despite state-of-the-art (SOTA) methods including interval bound propagation (IBP) and CROWN-IBP have per-batch training complexity similar to standard neural network training, to reach SOTA performance they usually need a long warmup schedule with hundreds or thousands epochs and are thus still quite costly for training. In this paper, we discover that the weight initialization adopted by prior works, such as Xavier or orthogonal initialization, which was originally designed for standard network training, results in very loose certified bounds at initialization thus a longer warmup schedule must be used. We also find that IBP based training leads to a significant imbalance in ReLU activation states, which can hamper model performance. Based on our findings, we derive a new IBP initialization as well as principled regularizers during the warmup stage to stabilize certified bounds during initialization and warmup stage, which can significantly reduce the warmup schedule and improve the balance of ReLU activation states. Additionally, we find that batch normalization (BN) is a crucial architectural element to build best-performing networks for certified defense, because it helps stabilize bound variance and balance ReLU activation states. With our proposed initialization, regularizers and architectural changes combined, we are able to obtain 65.03% verified error on CIFAR-10 ($\epsilon=\frac{8}{255}$) and 82.13% verified error on TinyImageNet ($\epsilon=\frac{1}{255}$) using very short training schedules (160 and 80 total epochs, respectively), outperforming literature SOTA trained with a few hundreds or thousands epochs.
• Abstract（参考訳）: 近年,有界伝播に基づく認証逆防御法が,堅牢性を保証するニューラルネットワークのトレーニングのために提案されている。 インターバルバウンド伝搬(IBP)やCROWN-IBPといった最先端(SOTA)の手法は、標準的なニューラルネットワークトレーニングと同様のバッチ単位のトレーニング複雑性を持つが、SOTAのパフォーマンスに到達するには、通常は数百から数千のエポックで長いウォームアップスケジュールが必要であるため、トレーニングには依然として非常にコストがかかる。 本稿では,Xavierや直交初期化などの先行研究で採用されている重み初期化が,もともと標準ネットワークトレーニング用に設計されたもので,初期化時に非常に緩やかに認証された境界が生じるため,より長いウォームアップスケジュールを使わなければならないことを明らかにする。 また,IPPに基づくトレーニングがReLUアクティベーション状態の大幅な不均衡を招き,モデル性能を損なう可能性がある。 以上の結果から,新しいipp初期化法とウォームアップ段階における基本正規化法を導出し,初期化とウォームアップ段階の認定境界を安定化し,ウォームアップスケジュールを大幅に短縮し,relu活性化状態のバランスを改善する。 さらに、バッチ正規化(BN)は、境界分散の安定化とReLUアクティベーション状態の均衡を支援するため、認証された防御のために最高の性能のネットワークを構築する上で重要なアーキテクチャ要素であることがわかった。 提案する初期化,正規化,アーキテクチャ変更を組み合わせることで,cifar-10 (\epsilon=\frac{8}{255}$) の65.03%,tinyimagenetの82.13% (\epsilon=\frac{1}{255}$) の検証エラーを非常に短いトレーニングスケジュール (160 と 80 つの総エポック) で取得することが可能となり,数百 から000 のエポックでトレーニングされた文献よりも優れています。

関連論文リスト

• SpacTor-T5: Pre-training T5 Models with Span Corruption and Replaced Token Detection [49.43407207482008]
  SpacTorは、スパン汚職(SC)とトークン置換検出(RTD)を組み合わせたハイブリッド目標からなる新しいトレーニング手順である。 各種NLPタスクにおけるエンコーダ・デコーダアーキテクチャ(T5)による実験では、SpacTor-T5は標準のSCプリトレーニングと同じダウンストリーム性能が得られる。
  論文  参考訳（メタデータ） (2024-01-24T00:36:13Z)
• Overcoming Recency Bias of Normalization Statistics in Continual Learning: Balance and Adaptation [67.77048565738728]
  継続的な学習には、一連のタスクを学習し、彼らの知識を適切にバランスさせることが含まれる。 本稿では,タスク・ワイド・コントリビューションに適応するためのベイズ的戦略を適切に取り入れた BN の適応バランス (AdaB$2$N) を提案する。 提案手法は,幅広いベンチマークにおいて,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2023-10-13T04:50:40Z)
• TAPS: Connecting Certified and Adversarial Training [6.688598900034783]
  TAPSはIPPとPGDを併用して、必ずしも音質の悪い損失近似を行うわけではないが、精度の高いトレーニング手法である。 TAPSは多くの設定で新しい最先端を実現しており、例えばTinyImageNetでは22%の精度で認証されている。
  論文  参考訳（メタデータ） (2023-05-08T09:32:05Z)
• On the Convergence of Certified Robust Training with Interval Bound Propagation [147.77638840942447]
  IBPトレーニングの収束に関する理論的解析を行った。 IBPトレーニングを用いてランダムに2層ReLUニューラルネットワークをロジスティック損失でトレーニングする場合、勾配降下はゼロロバストトレーニングエラーに線形収束可能であることを示す。
  論文  参考訳（メタデータ） (2022-03-16T21:49:13Z)
• When to Prune? A Policy towards Early Structural Pruning [27.91996628143805]
  我々は,パフォーマンスを損なうことなく,できるだけ早期に訓練を行う政策を提案する。 我々の方法では、最先端のプルーニングに比べて1.4%の精度でトップ1の精度が向上し、GPUのトレーニングコストを2.4%削減する。
  論文  参考訳（メタデータ） (2021-10-22T18:39:22Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
  アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)
• Pruning Filters while Training for Efficiently Optimizing Deep Learning Networks [6.269700080380206]
  深層ネットワークの重みを少なくするプルーニング技術が提案されている。 本研究では,訓練中に深層ネットワークのフィルタをプーンする動的プルーニング学習手法を提案する。 その結果, フィルタの50%をプルーニングすると, ほぼ精度の低下のない圧縮ネットワークが得られることがわかった。
  論文  参考訳（メタデータ） (2020-03-05T18:05:17Z)
• Picking Winning Tickets Before Training by Preserving Gradient Flow [9.67608102763644]
  効率的なトレーニングには,ネットワーク内の勾配流の保存が必要である,と我々は主張する。 CIFAR-10, CIFAR-100, Tiny-ImageNet, ImageNetにおいて, 提案手法の有効性を実験的に検討した。
  論文  参考訳（メタデータ） (2020-02-18T05:14:47Z)
• Activation Density driven Energy-Efficient Pruning in Training [2.222917681321253]
  本研究では,トレーニング中にネットワークをリアルタイムでプーンする新しいプルーニング手法を提案する。 ベースラインネットワークに匹敵する精度で、非常に疎いネットワークを得る。
  論文  参考訳（メタデータ） (2020-02-07T18:34:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。