論文の概要: Rethinking Evaluation Paradigms in IBP-based Certified Training
- arxiv url: http://arxiv.org/abs/2606.02134v1
- Date: Mon, 01 Jun 2026 12:00:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:31.978043
- Title: Rethinking Evaluation Paradigms in IBP-based Certified Training
- Title(参考訳): IBPによる認定訓練における評価パラダイムの再考
- Authors: Konstantin Kaulen, Hadar Shavit, Holger H. Hoos,
- Abstract要約: ディープニューラルネットワークは多くの教師付き学習タスクで高いパフォーマンスを達成するが、敵の摂動に弱いままである。
これを軽減するために、認定トレーニングテクニックは、トレーニング中に検証可能な堅牢性を最適化する。
先行進行は想定よりも顕著で,未報告のパフォーマンス相補性も明らかである。
- 参考スコア(独自算出の注目度): 7.29878846692057
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks achieve strong performance on many supervised learning tasks but remain vulnerable to adversarial perturbations. Neural network verification provides mathematically rigorous robustness guarantees, yet at substantial computational cost. To mitigate this, certified training techniques optimise for verifiable robustness during training, typically inducing a trade-off between natural and certified accuracy controlled by method-specific hyperparameters. Because these metrics are inherently conflicting, the common practice of reporting a single configuration is problematic: it can mislead conclusions about overall performance and prevents unbiased assessments of the state of the art. We address this by evaluating certified training methods via Pareto front comparisons over the natural--certified accuracy trade-off. To enable fair, method-agnostic comparisons, we perform efficient automated multi-objective hyperparameter optimisation to identify a set of Pareto-optimal configurations for each method. This approach often uncovers substantial undertuning in previously reported configurations, yielding superior performance and establishing a new state of the art. Leveraging these fronts, we present the first comprehensive multi-objective comparison of certified training approaches, showing that prior advancements are less pronounced than assumed and revealing previously unreported performance complementarities.
- Abstract(参考訳): ディープニューラルネットワークは多くの教師付き学習タスクで高いパフォーマンスを達成するが、敵の摂動に弱いままである。
ニューラルネットワーク検証は、数学的に厳密な堅牢性を保証するが、かなりの計算コストがかかる。
これを軽減するために、認定されたトレーニング技術は、訓練中に検証可能な堅牢性を最適化し、通常、メソッド固有のハイパーパラメータによって制御される自然な精度と認定された精度のトレードオフを誘導する。
これらのメトリクスは本質的に矛盾しているため、単一の構成を報告するという一般的なプラクティスには問題があります。
本研究は,Paretoの事前比較による認定トレーニング手法の評価により,この課題に対処する。
適切な手法に依存しない比較を可能にするため,各手法のパレート最適構成の集合を特定するために,自動多目的ハイパーパラメータ最適化を行う。
このアプローチは、しばしば、以前報告された構成の実質的な基礎を明らかにし、優れたパフォーマンスをもたらし、新しい最先端技術を確立する。
これらを活用することで、認定トレーニングアプローチの総合的多目的比較を初めて実施し、事前の進歩が想定よりも顕著で、これまで報告されていなかった性能の相違が明らかになることを示す。
関連論文リスト
- Learning Robustness at Test-Time from a Non-Robust Teacher [3.723585565253798]
この研究は、教師なしテスト時間設定の適応スキームに統合された場合、敵のトレーニング戦略がどのように振る舞うかを研究する。
クリーンかつ対向的な目的の両方のセマンティックアンカーとして,非ロバスト教師モデルの予測を利用するラベルフリーフレームワークを提案する。
論文 参考訳(メタデータ) (2026-04-13T15:05:21Z) - Learning Better Certified Models from Empirically-Robust Teachers [53.51898477987441]
対人訓練は、具体的な対人摂動の訓練により、特定の対人攻撃に対して強い経験的堅牢性を得る。
ニューラルネットワークの検証を通じて、強力な堅牢性証明には対応できないニューラルネットワークを生成する。
以前認定されたトレーニングスキームは、ネットワーク緩和から直接トレーニングを行い、堅牢だがサブパーの標準性能を示すモデルを得る。
論文 参考訳(メタデータ) (2026-02-02T16:30:53Z) - TULiP: Test-time Uncertainty Estimation via Linearization and Weight Perturbation [11.334867025651233]
OOD検出のための理論駆動型不確実性推定器TULiPを提案する。
本手法では,収束前にネットワークに適用される仮説的摂動を考察する。
提案手法は,特に近分布試料について,最先端の性能を示す。
論文 参考訳(メタデータ) (2025-05-22T17:16:41Z) - Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。
OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。
この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
論文 参考訳(メタデータ) (2023-11-03T05:41:25Z) - It's Simplex! Disaggregating Measures to Improve Certified Robustness [32.63920797751968]
本研究は,認証機構の分析を改善するための2つのアプローチを提案する。
新しい認証アプローチは、達成可能な認定範囲の2倍以上の可能性を秘めている。
経験的評価は、我々の新しいアプローチがノイズスケール$sigma = 1$で9%以上のサンプルを認証できることを検証する。
論文 参考訳(メタデータ) (2023-09-20T02:16:19Z) - Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。
KL偏差正規化損失関数の最適化により重みを求める。
提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-08-01T06:16:18Z) - Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。
本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。
当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
論文 参考訳(メタデータ) (2021-10-29T13:30:42Z) - Automating Control of Overestimation Bias for Continuous Reinforcement
Learning [65.63607016094305]
バイアス補正を導くためのデータ駆動型手法を提案する。
我々は、最先端の連続制御アルゴリズムであるTrncated Quantile Criticsにおいて、その効果を実証する。
論文 参考訳(メタデータ) (2021-10-26T09:27:12Z) - Robust Pre-Training by Adversarial Contrastive Learning [120.33706897927391]
近年の研究では、敵の訓練と統合されると、自己監督型事前訓練が最先端の堅牢性につながることが示されている。
我々は,データ強化と対向的摂動の両面に整合した学習表現により,ロバストネスを意識した自己指導型事前学習を改善する。
論文 参考訳(メタデータ) (2020-10-26T04:44:43Z) - Certified Distributional Robustness on Smoothed Classifiers [27.006844966157317]
本稿では,ロバスト性証明として,入力分布に対する最悪の逆損失を提案する。
双対性と滑らか性を利用して、証明書のサロゲートとして容易に計算できる上限を与える。
論文 参考訳(メタデータ) (2020-10-21T13:22:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。