論文の概要: Adaptive Certified Training: Towards Better Accuracy-Robustness Tradeoffs

• arxiv url: http://arxiv.org/abs/2307.13078v1
• Date: Mon, 24 Jul 2023 18:59:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-26 19:15:46.128168
• Title: Adaptive Certified Training: Towards Better Accuracy-Robustness Tradeoffs
• Title（参考訳）: adaptive certified training: より正確なロバストネストレードオフに向けて
• Authors: Zhakshylyk Nurlanov, Frank R. Schmidt, Florian Bernard
• Abstract要約: 本稿では,適応型認定ラジイを用いたトレーニングがモデルの精度と堅牢性の向上に役立つというキーインサイトに基づく,新しい認定トレーニング手法を提案する。 提案手法の有効性を,MNIST,CIFAR-10,TinyImageNetデータセットに示す。
• 参考スコア（独自算出の注目度）: 17.46692880231195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As deep learning models continue to advance and are increasingly utilized in real-world systems, the issue of robustness remains a major challenge. Existing certified training methods produce models that achieve high provable robustness guarantees at certain perturbation levels. However, the main problem of such models is a dramatically low standard accuracy, i.e. accuracy on clean unperturbed data, that makes them impractical. In this work, we consider a more realistic perspective of maximizing the robustness of a model at certain levels of (high) standard accuracy. To this end, we propose a novel certified training method based on a key insight that training with adaptive certified radii helps to improve both the accuracy and robustness of the model, advancing state-of-the-art accuracy-robustness tradeoffs. We demonstrate the effectiveness of the proposed method on MNIST, CIFAR-10, and TinyImageNet datasets. Particularly, on CIFAR-10 and TinyImageNet, our method yields models with up to two times higher robustness, measured as an average certified radius of a test set, at the same levels of standard accuracy compared to baseline approaches.
• Abstract（参考訳）: ディープラーニングモデルは進歩を続け、現実のシステムでますます活用されているため、堅牢性の問題は依然として大きな課題である。 既存の認定トレーニング手法は、特定の摂動レベルにおいて高い堅牢性を保証するモデルを生成する。 しかし、そのようなモデルの主な問題は、クリーンな非摂動データにおける精度という、劇的に低い標準精度である。 本研究では,モデルの強靭性を一定の(高い)標準精度で最大化する,より現実的な視点について考察する。 そこで本研究では,適応型radiiを用いたトレーニングがモデルの正確性と堅牢性の向上に寄与し,最先端の精度・ロバスト性トレードオフが進展することを示す。 提案手法の有効性を,MNIST,CIFAR-10,TinyImageNetデータセットに示す。 特に,CIFAR-10 と TinyImageNet では,テストセットの平均認定半径として測定された最大2倍のロバスト性を持つモデルを,ベースラインアプローチと同等の精度で生成する。

関連論文リスト

• Weak Supervision Performance Evaluation via Partial Identification [46.73061437177238]
  Programmatic Weak Supervision (PWS) は、地上の真理ラベルに直接アクセスすることなく、教師付きモデルトレーニングを可能にする。 本稿では,モデル評価を部分的同定問題としてフレーミングすることで,この問題に対処する新しい手法を提案する。 提案手法は,従来の弱監督評価手法において,ラベル付きデータを必要とせず,重要な指標に信頼性のあるバウンダリを導出する。
  論文  参考訳（メタデータ） (2023-12-07T07:15:11Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• Towards Certified Probabilistic Robustness with High Accuracy [3.957941698534126]
  Adrialの例は、ニューラルネットワーク上に構築された多くのクリティカルシステムに対して、セキュリティ上の脅威となる。 確実に堅牢で正確なニューラルネットワークモデルを構築する方法はまだオープンな問題だ。 本稿では,高い精度と高い確率ロバスト性を実現することを目的とした新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-02T09:39:47Z)
• Post-hoc Uncertainty Learning using a Dirichlet Meta-Model [28.522673618527417]
  本研究では,不確実性定量化能力の優れた事前学習モデルを構築するための新しいベイズメタモデルを提案する。 提案手法は追加のトレーニングデータを必要としないため,不確かさの定量化に十分な柔軟性がある。 提案するメタモデルアプローチの柔軟性と,これらのアプリケーションに対する優れた経験的性能を実証する。
  論文  参考訳（メタデータ） (2022-12-14T17:34:11Z)
• On the Importance of Calibration in Semi-supervised Learning [13.859032326378188]
  State-of-the-art (SOTA) の半教師付き学習(SSL)手法はラベル付きデータとラベルなしデータの混在を活用することに成功している。 我々は、キャリブレーションを最適化し、標準ビジョンベンチマークでその有効性を実証する新しいSSLモデル群を紹介します。
  論文  参考訳（メタデータ） (2022-10-10T15:41:44Z)
• (Certified!!) Adversarial Robustness for Free! [116.6052628829344]
  逆方向の摂動が0.5の2ノルム以内であることに制約された場合,ImageNetでは71%の精度が証明された。 これらの結果は,モデルパラメータの微調整や再学習を必要とせず,事前学習した拡散モデルと画像分類器のみを用いて得られる。
  論文  参考訳（メタデータ） (2022-06-21T17:27:27Z)
• Uncertainty-sensitive Activity Recognition: a Reliability Benchmark and the CARING Models [37.60817779613977]
  本稿では,現代の行動認識アーキテクチャの信頼度が,正しい結果の確率を反映していることを示す最初の研究を行う。 新たなキャリブレーションネットワークを通じて、モデル出力を現実的な信頼性推定に変換する新しいアプローチを紹介します。
  論文  参考訳（メタデータ） (2021-01-02T15:41:21Z)
• Learnable Boundary Guided Adversarial Training [66.57846365425598]
  私たちは、あるクリーンモデルからのモデルロジットを使用して、別のロバストモデルの学習をガイドします。 我々は、CIFAR-100上で、追加の実データや合成データなしで、新しい最先端のロバスト性を実現する。
  論文  参考訳（メタデータ） (2020-11-23T01:36:05Z)
• Once-for-All Adversarial Training: In-Situ Tradeoff between Robustness and Accuracy for Free [115.81899803240758]
  敵の訓練とその多くの変種は、ネットワークの堅牢性を大幅に改善するが、標準精度を妥協するコストがかかる。 本稿では,訓練されたモデルをその場で迅速に校正する方法を問うとともに,その標準と堅牢な精度のトレードオフについて検討する。 提案するフレームワークであるOne-for-all Adversarial Training (OAT)は,革新的なモデル条件トレーニングフレームワーク上に構築されている。
  論文  参考訳（メタデータ） (2020-10-22T16:06:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。