論文の概要: Improving Certified Robustness via Adversarial Distillation

• arxiv url: http://arxiv.org/abs/2606.31653v1
• Date: Tue, 30 Jun 2026 13:31:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.237754
• Title: Improving Certified Robustness via Adversarial Distillation
• Title（参考訳）: 逆蒸留による認証ロバスト性の改善
• Abstract要約: 対側蒸留法とIPP上界を併用した認定トレーニング目標であるAD-CERTを導入する。 我々は,AD-CERTがいくつかのベンチマークで最先端の認定性能を達成することを示す。
• 参考スコア（独自算出の注目度）: 2.969291853301593
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Certified training aims to produce models whose predictions can be formally verified against adversarial perturbations, typically by optimising upper bounds on the worst-case loss over an allowed perturbation set. For neural networks, certified training methods based purely on tight relaxation bounds produce networks that are amenable to certification, but sacrifice standard accuracy. Conversely, adversarial training often yields stronger empirical robustness and standard accuracy, but the resulting models are generally difficult to certify with neural network verifiers. Recently, the literature has shown that better standard-certified accuracy trade-offs can be achieved by combining adversarial training objectives with loose over-approximations based on Interval Bound Propagation (IBP), effectively interpolating between lower and upper bounds of the worst-case loss. Building on this, we introduce AD-CERT, a certified training objective that combines adversarial distillation with an IBP upper bound. We show that distilling adversarial information over the logit space from an empirically robust teacher provides an effective lower bound surrogate for certified training, with AD-CERT achieving state-of-the-art certified performance on several robustness benchmarks. Furthermore, in a unified setup, distilling adversarial information at the logit-level is shown to improve certified accuracy over a robust feature-space distillation objective by up to 5.40 percentage points.
• Abstract（参考訳）: 認定トレーニングは、通常、許容された摂動集合に対する最悪の損失に対する上限を最適化することによって、敵の摂動に対して公式に予測を検証できるモデルを作成することを目的としている。 ニューラルネットワークの場合、厳密な緩和バウンダリに基づく認定トレーニング手法は、認証に適しているが標準精度を犠牲にするネットワークを生成する。 逆に、敵対的訓練は、しばしばより強い経験的堅牢性と標準精度をもたらすが、結果として得られるモデルは一般にニューラルネットワーク検証器で認証することが困難である。 近年の文献では、対向訓練目標と、インターバルバウンド・プロパゲーション(IBP)に基づく緩やかなオーバー近似を組み合わせ、最悪の損失の下位境界と上位境界を効果的に補間することにより、より良い標準精度のトレードオフが達成できることが示されている。 そこで本研究では, 対側蒸留法とIPP上界を併用したAD-CERTを提案する。 実験的に頑健な教師からロジット空間上の対向情報を蒸留することで,AD-CERTが複数のロバストネスベンチマークで最先端の認証性能を達成することにより,認定訓練に有効な下界サロゲートが得られることを示す。 さらに,ロジットレベルでの対向情報を蒸留することで,ロジットレベルでの高強度な特徴空間蒸留目標の精度を最大5.40ポイント向上させる。

関連論文リスト

• Veriphi: Attack-Guided Neural Network Verification with Dataset-Dependent Training Methods [0.0]
  本稿では,高速敵攻撃と形式的バウンド認証を組み合わせたGPU高速化ニューラルネットワーク検証システムを提案する。 トレーニング手法の有効性は基本的にデータセットに依存していることを実証する。 攻撃誘導型ファルシフィケーションによる検証5倍の高速化を実現し,本運用規模モデルへのアプローチを拡大する。
  論文  参考訳（メタデータ） (2026-06-16T20:02:51Z)
• Rethinking Evaluation Paradigms in IBP-based Certified Training [7.29878846692057]
  ディープニューラルネットワークは多くの教師付き学習タスクで高いパフォーマンスを達成するが、敵の摂動に弱いままである。 これを軽減するために、認定トレーニングテクニックは、トレーニング中に検証可能な堅牢性を最適化する。 先行進行は想定よりも顕著で,未報告のパフォーマンス相補性も明らかである。
  論文  参考訳（メタデータ） (2026-06-01T12:00:15Z)
• The Illusion of Certainty: Decoupling Capability and Calibration in On-Policy Distillation [67.26315138466312]
  モデルロールアウトから経験的信頼性を推定するキャリブレーション対応のOPDフレームワークであるCaOPDを提案する。 本研究は, 能力蒸留が信頼性を示唆するものではないこと, 信頼性をポストトレーニングの本質的な目的として扱うべきであることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-18T04:43:40Z)
• Learning Better Certified Models from Empirically-Robust Teachers [53.51898477987441]
  対人訓練は、具体的な対人摂動の訓練により、特定の対人攻撃に対して強い経験的堅牢性を得る。 ニューラルネットワークの検証を通じて、強力な堅牢性証明には対応できないニューラルネットワークを生成する。 以前認定されたトレーニングスキームは、ネットワーク緩和から直接トレーニングを行い、堅牢だがサブパーの標準性能を示すモデルを得る。
  論文  参考訳（メタデータ） (2026-02-02T16:30:53Z)
• Improved Certified Defenses against Data Poisoning with (Deterministic) Finite Aggregation [122.83280749890078]
  本報告では, 一般中毒に対する予防的対策として, フィニット・アグリゲーション(Finite Aggregation)を提案する。 トレーニングセットを直接非結合部分集合に分割するDPAとは対照的に、我々の方法はまず、トレーニングセットをより小さな非結合部分集合に分割する。 我々は、決定論的および集約的認証された防御設計をブリッジして、我々の方法の代替的な見解を提供する。
  論文  参考訳（メタデータ） (2022-02-05T20:08:58Z)
• How Robust are Randomized Smoothing based Defenses to Data Poisoning? [66.80663779176979]
  我々は、トレーニングデータの品質の重要性を強調する堅牢な機械学習モデルに対して、これまで認識されていなかった脅威を提示します。 本稿では,二段階最適化に基づく新たなデータ中毒攻撃法を提案し,ロバストな分類器のロバスト性を保証する。 我々の攻撃は、被害者が最先端のロバストな訓練方法を用いて、ゼロからモデルを訓練しても効果的である。
  論文  参考訳（メタデータ） (2020-12-02T15:30:21Z)
• Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
  近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。 我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
  論文  参考訳（メタデータ） (2020-10-26T04:44:43Z)
• Certified Distributional Robustness on Smoothed Classifiers [27.006844966157317]
  本稿では,ロバスト性証明として,入力分布に対する最悪の逆損失を提案する。 双対性と滑らか性を利用して、証明書のサロゲートとして容易に計算できる上限を与える。
  論文  参考訳（メタデータ） (2020-10-21T13:22:25Z)
• Certifiably Adversarially Robust Detection of Out-of-Distribution Data [111.67388500330273]
  我々は,OOD点における信頼度を低くすることで,OOD検出の証明可能な最悪のケースを保証することを目的としている。 トレーニング時に見られるOODデータセットを超えて一般化されたOODデータの信頼性の非自明な境界が可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-16T17:16:47Z)
• Regularized Training and Tight Certification for Randomized Smoothed Classifier with Provable Robustness [15.38718018477333]
  我々は新たな正規化リスクを導出し、正規化器はスムーズな手法の精度と堅牢性を適応的に促進することができる。 また、正規化効果を利用して、高い確率で保持されるより厳密なロバスト性の下限を提供する新しい認証アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2020-02-17T20:54:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。