論文の概要: Accelerating Certified Robustness Training via Knowledge Transfer
- arxiv url: http://arxiv.org/abs/2210.14283v1
- Date: Tue, 25 Oct 2022 19:12:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-27 13:56:22.851909
- Title: Accelerating Certified Robustness Training via Knowledge Transfer
- Title(参考訳): 知識伝達による認定ロバストネストレーニングの促進
- Authors: Pratik Vaishnavi, Kevin Eykholt, Amir Rahmati
- Abstract要約: 本稿では,知識伝達による頑健な学習手法の計算オーバーヘッドを低減するためのフレームワークを提案する。
CIFAR-10の実験により、CRTは3つの異なるアーキテクチャ世代で平均8倍のロバストネストレーニングを高速化した。
- 参考スコア(独自算出の注目度): 3.5934248574481717
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training deep neural network classifiers that are certifiably robust against
adversarial attacks is critical to ensuring the security and reliability of
AI-controlled systems. Although numerous state-of-the-art certified training
methods have been developed, they are computationally expensive and scale
poorly with respect to both dataset and network complexity. Widespread usage of
certified training is further hindered by the fact that periodic retraining is
necessary to incorporate new data and network improvements. In this paper, we
propose Certified Robustness Transfer (CRT), a general-purpose framework for
reducing the computational overhead of any certifiably robust training method
through knowledge transfer. Given a robust teacher, our framework uses a novel
training loss to transfer the teacher's robustness to the student. We provide
theoretical and empirical validation of CRT. Our experiments on CIFAR-10 show
that CRT speeds up certified robustness training by $8 \times$ on average
across three different architecture generations while achieving comparable
robustness to state-of-the-art methods. We also show that CRT can scale to
large-scale datasets like ImageNet.
- Abstract(参考訳): AI制御システムのセキュリティと信頼性を確保するためには、敵対的攻撃に対して確実に堅牢なディープニューラルネットワーク分類器の訓練が重要である。
多くの最先端の認定トレーニング手法が開発されているが、データセットとネットワークの複雑さの両方に関して計算コストが高く、スケールが不十分である。
認定トレーニングの広範な利用は、新しいデータとネットワークの改善を取り入れるために定期的な再トレーニングが必要であるという事実によってさらに妨げられている。
本稿では,知識伝達による堅牢な学習手法の計算オーバーヘッドを低減するための汎用フレームワークであるCertified Robustness Transfer (CRT)を提案する。
強固な教師が与えられると,新しい学習損失を用いて教師の強固さを学生に伝達する。
CRTの理論的および実証的な検証を行う。
cifar-10の実験では、crtは3つの異なるアーキテクチャ世代で平均8セントのロバストネストレーニングをスピードアップし、最先端のメソッドと同等のロバスト性を実現しています。
また、crtがimagenetのような大規模データセットにスケールできることも示しています。
関連論文リスト
- Optimistic Verifiable Training by Controlling Hardware Nondeterminism [22.85808027490485]
本研究では,対象モデルよりも高精度なトレーニング,中間ステップ後のラウンドリング,ラウンドニング決定の格納を併用する手法を提案する。
我々は、ResNet-50 (23M) モデルと GPT-2 (117M) モデルのフルトレーニングと微調整の両方において、FP32の精度で正確なトレーニングレプリケーションを実現する。
論文 参考訳(メタデータ) (2024-03-14T17:44:35Z) - Quantization-aware Interval Bound Propagation for Training Certifiably
Robust Quantized Neural Networks [58.195261590442406]
我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。
近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。
本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
論文 参考訳(メタデータ) (2022-11-29T13:32:38Z) - Adversarial Unlearning: Reducing Confidence Along Adversarial Directions [88.46039795134993]
本稿では,自己生成事例の信頼性を低下させる補完的な正規化戦略を提案する。
RCADと呼ばれるこの手法は、トレーニング損失を増やすために反対に選択された方向に沿って横たわっている流通外の事例に対する信頼性を低下させることを目的としている。
その単純さにもかかわらず、多くの分類ベンチマークでは、RCADを既存の技術に追加して、絶対値の1~3%の精度でテストできることがわかった。
論文 参考訳(メタデータ) (2022-06-03T02:26:24Z) - Leveraging universality of jet taggers through transfer learning [0.0]
本稿では,高速かつデータ効率の高いジェットタグの開発にトランスファーラーニング技術を用いる方法について検討する。
トレーニングプロセスの高速化により、信頼性の高いタグを桁違いに少ないデータで取得できることが判明した。
これは、コライダー物理学実験におけるそのようなツールの使用を促進するための有望な道を提供する。
論文 参考訳(メタデータ) (2022-03-11T19:05:26Z) - Transferring Adversarial Robustness Through Robust Representation
Matching [3.5934248574481717]
アドリアリトレーニングは、ニューラルネットワークに対するこのような攻撃に確実に耐えられる数少ない既知の防御の1つである。
本稿では,ロバスト表現マッチング(RRM, Robust Representation Matching)を提案する。
RRMは、モデル性能と対向訓練時間の両方において優れている。
論文 参考訳(メタデータ) (2022-02-21T05:15:40Z) - CRFL: Certifiably Robust Federated Learning against Backdoor Attacks [59.61565692464579]
本稿では,第1の汎用フレームワークであるCertifiably Robust Federated Learning (CRFL) を用いて,バックドアに対する堅牢なFLモデルをトレーニングする。
提案手法は, モデルパラメータのクリッピングと平滑化を利用して大域的モデル平滑化を制御する。
論文 参考訳(メタデータ) (2021-06-15T16:50:54Z) - Fast Training of Provably Robust Neural Networks by SingleProp [71.19423596238568]
我々は、既存の認証された防御よりも効率的である新しい正規化器を開発した。
我々は、最先端の認証防御と比較して、訓練速度と同等の認証精度の向上を実証する。
論文 参考訳(メタデータ) (2021-02-01T22:12:51Z) - Rethinking Clustering for Robustness [56.14672993686335]
ClusTRは、ロバストモデルを学ぶためのクラスタリングベースの、対向のないトレーニングフレームワークである。
textitClusTRは、強いPGD攻撃の下で、敵に訓練されたネットワークを最大4%上回ります。
論文 参考訳(メタデータ) (2020-06-13T16:55:51Z) - HYDRA: Pruning Adversarially Robust Neural Networks [58.061681100058316]
ディープラーニングは、敵対的攻撃に対する堅牢性の欠如と、大規模なニューラルネットワークサイズという、2つの大きな課題に直面している。
そこで本稿では,頑健なトレーニング目標を意識したプルーニング手法を提案し,トレーニング目標にプルーンへの接続を探索させる。
HYDRAと題する我々の手法は,最先端のベニグニグニグニグニグニとロバストな精度で圧縮されたネットワークを同時に実現できることを実証する。
論文 参考訳(メタデータ) (2020-02-24T19:54:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。