論文の概要: Accelerating Certified Robustness Training via Knowledge Transfer

• arxiv url: http://arxiv.org/abs/2210.14283v1
• Date: Tue, 25 Oct 2022 19:12:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 13:56:22.851909
• Title: Accelerating Certified Robustness Training via Knowledge Transfer
• Title（参考訳）: 知識伝達による認定ロバストネストレーニングの促進
• Authors: Pratik Vaishnavi, Kevin Eykholt, Amir Rahmati
• Abstract要約: 本稿では,知識伝達による頑健な学習手法の計算オーバーヘッドを低減するためのフレームワークを提案する。 CIFAR-10の実験により、CRTは3つの異なるアーキテクチャ世代で平均8倍のロバストネストレーニングを高速化した。
• 参考スコア（独自算出の注目度）: 3.5934248574481717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training deep neural network classifiers that are certifiably robust against adversarial attacks is critical to ensuring the security and reliability of AI-controlled systems. Although numerous state-of-the-art certified training methods have been developed, they are computationally expensive and scale poorly with respect to both dataset and network complexity. Widespread usage of certified training is further hindered by the fact that periodic retraining is necessary to incorporate new data and network improvements. In this paper, we propose Certified Robustness Transfer (CRT), a general-purpose framework for reducing the computational overhead of any certifiably robust training method through knowledge transfer. Given a robust teacher, our framework uses a novel training loss to transfer the teacher's robustness to the student. We provide theoretical and empirical validation of CRT. Our experiments on CIFAR-10 show that CRT speeds up certified robustness training by $8 \times$ on average across three different architecture generations while achieving comparable robustness to state-of-the-art methods. We also show that CRT can scale to large-scale datasets like ImageNet.
• Abstract（参考訳）: AI制御システムのセキュリティと信頼性を確保するためには、敵対的攻撃に対して確実に堅牢なディープニューラルネットワーク分類器の訓練が重要である。 多くの最先端の認定トレーニング手法が開発されているが、データセットとネットワークの複雑さの両方に関して計算コストが高く、スケールが不十分である。 認定トレーニングの広範な利用は、新しいデータとネットワークの改善を取り入れるために定期的な再トレーニングが必要であるという事実によってさらに妨げられている。 本稿では,知識伝達による堅牢な学習手法の計算オーバーヘッドを低減するための汎用フレームワークであるCertified Robustness Transfer (CRT)を提案する。 強固な教師が与えられると,新しい学習損失を用いて教師の強固さを学生に伝達する。 CRTの理論的および実証的な検証を行う。 cifar-10の実験では、crtは3つの異なるアーキテクチャ世代で平均8セントのロバストネストレーニングをスピードアップし、最先端のメソッドと同等のロバスト性を実現しています。 また、crtがimagenetのような大規模データセットにスケールできることも示しています。

関連論文リスト

• Training Overhead Ratio: A Practical Reliability Metric for Large Language Model Training Systems [13.880001659156926]
  大規模言語モデル(LLM)は、優れた能力でAI産業に革命をもたらしている。 これらのモデルのトレーニングには、大規模なGPUクラスタと大幅な計算時間が必要で、頻繁な障害が発生する。 本稿では, 耐故障性LLMトレーニングシステムの信頼性を評価するために, emphTraining Overhead Ratio (TOR) と呼ばれる新しい信頼性指標を提案する。
  論文  参考訳（メタデータ） (2024-08-14T11:55:28Z)
• Towards Certified Unlearning for Deep Neural Networks [50.816473152067104]
  認定されていない未学習は、凸機械学習モデルで広く研究されている。 認定アンラーニングとディープニューラルネットワーク(DNN)のギャップを埋める手法をいくつか提案する。
  論文  参考訳（メタデータ） (2024-08-01T21:22:10Z)
• Cross-Input Certified Training for Universal Perturbations [4.456428506059651]
  現在の認定訓練方法は、単一入力の摂動に対して頑健なモデルを訓練するが、最適以下の清浄とUAPの精度を達成する。 UAP攻撃者に対して堅牢なネットワークの認証トレーニングのための新しい手法CITRUSを提案する。 提案手法は標準精度(最大10.3%)で従来の認証されたトレーニング手法より優れており,より実用的な認証済みのUAP精度でSOTA性能を実現することができる。
  論文  参考訳（メタデータ） (2024-05-15T08:33:41Z)
• Optimistic Verifiable Training by Controlling Hardware Nondeterminism [22.85808027490485]
  トレーニング中のGPUタイプ間の非決定性は、トレーニングプロセスの正確な複製を防ぐ。 本稿では,目標よりも高精度なトレーニング,中間計算後のラウンドリング,適応的しきい値決定に基づくラウンドリング決定の共有を併用する手法を提案する。 検証可能なトレーニング手法は,証明ベースシステムと比較して,ストレージと時間コストを著しく削減する。
  論文  参考訳（メタデータ） (2024-03-14T17:44:35Z)
• Quantization-aware Interval Bound Propagation for Training Certifiably Robust Quantized Neural Networks [58.195261590442406]
  我々は、逆向きに頑健な量子化ニューラルネットワーク(QNN)の訓練と証明の課題について検討する。 近年の研究では、浮動小数点ニューラルネットワークが量子化後の敵攻撃に対して脆弱であることが示されている。 本稿では、堅牢なQNNをトレーニングするための新しい方法であるQA-IBP(quantization-aware interval bound propagation)を提案する。
  論文  参考訳（メタデータ） (2022-11-29T13:32:38Z)
• Transferring Adversarial Robustness Through Robust Representation Matching [3.5934248574481717]
  アドリアリトレーニングは、ニューラルネットワークに対するこのような攻撃に確実に耐えられる数少ない既知の防御の1つである。 本稿では,ロバスト表現マッチング(RRM, Robust Representation Matching)を提案する。 RRMは、モデル性能と対向訓練時間の両方において優れている。
  論文  参考訳（メタデータ） (2022-02-21T05:15:40Z)
• CRFL: Certifiably Robust Federated Learning against Backdoor Attacks [59.61565692464579]
  本稿では,第1の汎用フレームワークであるCertifiably Robust Federated Learning (CRFL) を用いて,バックドアに対する堅牢なFLモデルをトレーニングする。 提案手法は, モデルパラメータのクリッピングと平滑化を利用して大域的モデル平滑化を制御する。
  論文  参考訳（メタデータ） (2021-06-15T16:50:54Z)
• Fast Training of Provably Robust Neural Networks by SingleProp [71.19423596238568]
  我々は、既存の認証された防御よりも効率的である新しい正規化器を開発した。 我々は、最先端の認証防御と比較して、訓練速度と同等の認証精度の向上を実証する。
  論文  参考訳（メタデータ） (2021-02-01T22:12:51Z)
• Rethinking Clustering for Robustness [56.14672993686335]
  ClusTRは、ロバストモデルを学ぶためのクラスタリングベースの、対向のないトレーニングフレームワークである。 textitClusTRは、強いPGD攻撃の下で、敵に訓練されたネットワークを最大4%上回ります。
  論文  参考訳（メタデータ） (2020-06-13T16:55:51Z)
• HYDRA: Pruning Adversarially Robust Neural Networks [58.061681100058316]
  ディープラーニングは、敵対的攻撃に対する堅牢性の欠如と、大規模なニューラルネットワークサイズという、2つの大きな課題に直面している。 そこで本稿では,頑健なトレーニング目標を意識したプルーニング手法を提案し,トレーニング目標にプルーンへの接続を探索させる。 HYDRAと題する我々の手法は,最先端のベニグニグニグニグニグニとロバストな精度で圧縮されたネットワークを同時に実現できることを実証する。
  論文  参考訳（メタデータ） (2020-02-24T19:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。