論文の概要: Learning Better Certified Models from Empirically-Robust Teachers
- arxiv url: http://arxiv.org/abs/2602.02626v1
- Date: Mon, 02 Feb 2026 16:30:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-04 18:37:14.991369
- Title: Learning Better Certified Models from Empirically-Robust Teachers
- Title（参考訳）: 経験的ロバスト教師によるより良い認定モデル学習
- Authors: Alessandro De Palma,
- Abstract要約: 対人訓練は、具体的な対人摂動の訓練により、特定の対人攻撃に対して強い経験的堅牢性を得る。
ニューラルネットワークの検証を通じて、強力な堅牢性証明には対応できないニューラルネットワークを生成する。
以前認定されたトレーニングスキームは、ネットワーク緩和から直接トレーニングを行い、堅牢だがサブパーの標準性能を示すモデルを得る。
- 参考スコア（独自算出の注目度）: 53.51898477987441
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial training attains strong empirical robustness to specific adversarial attacks by training on concrete adversarial perturbations, but it produces neural networks that are not amenable to strong robustness certificates through neural network verification. On the other hand, earlier certified training schemes directly train on bounds from network relaxations to obtain models that are certifiably robust, but display sub-par standard performance. Recent work has shown that state-of-the-art trade-offs between certified robustness and standard performance can be obtained through a family of losses combining adversarial outputs and neural network bounds. Nevertheless, differently from empirical robustness, verifiability still comes at a significant cost in standard performance. In this work, we propose to leverage empirically-robust teachers to improve the performance of certifiably-robust models through knowledge distillation. Using a versatile feature-space distillation objective, we show that distillation from adversarially-trained teachers consistently improves on the state-of-the-art in certified training for ReLU networks across a series of robust computer vision benchmarks.
- Abstract（参考訳）: 敵のトレーニングは、具体的な敵の摂動を訓練することで、特定の敵の攻撃に対して強い経験的堅牢性を得るが、ニューラルネットワーク検証によって、強い堅牢性証明には耐えられないニューラルネットワークを生成する。
一方、従来の認定トレーニングスキームでは、ネットワーク緩和から直接境界をトレーニングし、頑健なモデルを得るが、サブパー標準性能を示す。
近年の研究では、検証されたロバスト性と標準性能との間の最先端のトレードオフは、敵の出力とニューラルネットワーク境界を組み合わせた損失の族によって得られることが示されている。
それでも、実証的な堅牢性とは違って、検証性は依然として標準性能においてかなりのコストがかかる。
そこで本研究では,経験的ロバスト教師を活用して,知識蒸留による確率論的ロバストモデルの性能を向上させることを提案する。
本稿では,多目的な特徴空間蒸留の目的を用いて,コンピュータビジョンベンチマークによるReLUネットワークの認定訓練において,逆行訓練を受けた教師による蒸留が常に改良されていることを示す。
関連論文リスト
- Mitigating Accuracy-Robustness Trade-off via Balanced Multi-Teacher Adversarial Distillation [12.39860047886679]
敵対的トレーニングは、敵対的攻撃に対するディープニューラルネットワークの堅牢性を改善するための実践的なアプローチである。
本稿では,B-MTARD(Ba balanced Multi-Teacher Adversarial Robustness Distillation)を導入する。
B-MTARDは、様々な敵攻撃に対して最先端の手法より優れている。
論文 参考訳（メタデータ） (2023-06-28T12:47:01Z) - A Comprehensive Study on Robustness of Image Classification Models:
Benchmarking and Rethinking [54.89987482509155]
ディープニューラルネットワークのロバスト性は、通常、敵の例、共通の腐敗、分散シフトに欠けている。
画像分類タスクにおいてtextbfARES-Bench と呼ばれる総合的なベンチマークロバスト性を確立する。
それに応じてトレーニング設定を設計することにより、新しい最先端の対人ロバスト性を実現する。
論文 参考訳（メタデータ） (2023-02-28T04:26:20Z) - On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。
本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
論文 参考訳（メタデータ） (2022-03-14T15:02:13Z) - Fast Training of Provably Robust Neural Networks by SingleProp [71.19423596238568]
我々は、既存の認証された防御よりも効率的である新しい正規化器を開発した。
我々は、最先端の認証防御と比較して、訓練速度と同等の認証精度の向上を実証する。
論文 参考訳（メタデータ） (2021-02-01T22:12:51Z) - Certified Distributional Robustness on Smoothed Classifiers [27.006844966157317]
本稿では,ロバスト性証明として,入力分布に対する最悪の逆損失を提案する。
双対性と滑らか性を利用して、証明書のサロゲートとして容易に計算できる上限を与える。
論文 参考訳（メタデータ） (2020-10-21T13:22:25Z) - Hybrid Discriminative-Generative Training via Contrastive Learning [96.56164427726203]
エネルギーベースモデルのハイブリッド識別・生成訓練の観点から、コントラスト学習と教師あり学習の直接的な関連性を示す。
CIFAR-10 および CIFAR-100 上の WideResNet の分類精度において,エネルギーベース損失の近似の具体的な選択が既存手法より優れていることを示す。
論文 参考訳（メタデータ） (2020-07-17T15:50:34Z) - Rethinking Clustering for Robustness [56.14672993686335]
ClusTRは、ロバストモデルを学ぶためのクラスタリングベースの、対向のないトレーニングフレームワークである。
textitClusTRは、強いPGD攻撃の下で、敵に訓練されたネットワークを最大4%上回ります。
論文 参考訳（メタデータ） (2020-06-13T16:55:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。