論文の概要: Confidence-aware Denoised Fine-tuning of Off-the-shelf Models for Certified Robustness

• arxiv url: http://arxiv.org/abs/2411.08933v2
• Date: Fri, 15 Nov 2024 06:13:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 12:20:08.522718
• Title: Confidence-aware Denoised Fine-tuning of Off-the-shelf Models for Certified Robustness
• Title（参考訳）: 認証ロバスト性のためのオフザシェルフモデルの信頼性を考慮した微調整
• Authors: Suhyeok Jang, Seojin Kim, Jinwoo Shin, Jongheon Jeong,
• Abstract要約: 我々はFT-CADIS(Fun Fine-Tuning with Confidence-Aware Denoized Image Selection)を紹介する。 FT-CADISは、既成の分類器の信頼性が、視覚的平滑化中の幻覚像を効果的に識別できるという観察に着想を得たものである。 様々なベンチマークにおいて、すべての$ell$-adversary半径にわたる偏微分平滑化法のうち、最先端の証明されたロバスト性を確立している。
• 参考スコア（独自算出の注目度）: 56.2479170374811
• License:
• Abstract: The remarkable advances in deep learning have led to the emergence of many off-the-shelf classifiers, e.g., large pre-trained models. However, since they are typically trained on clean data, they remain vulnerable to adversarial attacks. Despite this vulnerability, their superior performance and transferability make off-the-shelf classifiers still valuable in practice, demanding further work to provide adversarial robustness for them in a post-hoc manner. A recently proposed method, denoised smoothing, leverages a denoiser model in front of the classifier to obtain provable robustness without additional training. However, the denoiser often creates hallucination, i.e., images that have lost the semantics of their originally assigned class, leading to a drop in robustness. Furthermore, its noise-and-denoise procedure introduces a significant distribution shift from the original distribution, causing the denoised smoothing framework to achieve sub-optimal robustness. In this paper, we introduce Fine-Tuning with Confidence-Aware Denoised Image Selection (FT-CADIS), a novel fine-tuning scheme to enhance the certified robustness of off-the-shelf classifiers. FT-CADIS is inspired by the observation that the confidence of off-the-shelf classifiers can effectively identify hallucinated images during denoised smoothing. Based on this, we develop a confidence-aware training objective to handle such hallucinated images and improve the stability of fine-tuning from denoised images. In this way, the classifier can be fine-tuned using only images that are beneficial for adversarial robustness. We also find that such a fine-tuning can be done by updating a small fraction of parameters of the classifier. Extensive experiments demonstrate that FT-CADIS has established the state-of-the-art certified robustness among denoised smoothing methods across all $\ell_2$-adversary radius in various benchmarks.
• Abstract（参考訳）: ディープラーニングの顕著な進歩は、多くの既成の分類器(例えば、大きな事前学習モデル)の出現につながった。 しかし、それらは典型的にはクリーンなデータで訓練されているため、敵の攻撃に弱いままである。 この脆弱性にもかかわらず、その優れた性能と転送性により、オフ・ザ・シェルフ分類器はいまだに有用であり、ポストホックな方法で敵の堅牢性を提供するためにさらなる作業を必要としている。 最近提案されたスムース化法では、分類器の前方のデノイザーモデルを利用して、追加の訓練なしに証明可能なロバスト性を得る。 しかし、デノイザはしばしば幻覚、すなわち、最初に割り当てられたクラスの意味が失われ、堅牢性が低下する。 さらに、ノイズ・アンド・デノエイズ法は、元の分布から大きな分布シフトをもたらすため、分極平滑化フレームワークが準最適ロバスト性を達成する。 本稿では,既製の分類器の信頼性を向上する新しいファインチューニング手法であるFT-CADISについて紹介する。 FT-CADISは、既成の分類器の信頼性が、視覚的平滑化中の幻覚像を効果的に識別できるという観察に着想を得たものである。 そこで我々は,このような幻覚画像を扱うための信頼度の高い訓練目標を開発し,視覚画像からの微調整の安定性を向上する。 このようにして分類器は、敵対的堅牢性に有利な画像のみを用いて微調整できる。 また、このような微調整は、分類器の少数のパラメータを更新することで行うことができる。 大規模な実験により、FT-CADISは様々なベンチマークにおいて、$\ell_2$-adversary radius の全てにまたがる偏微分平滑化法のうち、最先端の証明されたロバスト性を確立した。

関連論文リスト

• Adversarial Robustification via Text-to-Image Diffusion Models [56.37291240867549]
  アドリラルロバスト性は、ニューラルネットワークをエンコードする難しい性質として伝統的に信じられてきた。 データを使わずに敵の堅牢性を実現するために,スケーラブルでモデルに依存しないソリューションを開発した。
  論文  参考訳（メタデータ） (2024-07-26T10:49:14Z)
• Multi-scale Diffusion Denoised Smoothing [79.95360025953931]
  ランダムな平滑化は、大規模モデルに敵対的ロバスト性を提供する、いくつかの具体的なアプローチの1つになっている。 本報告では, 分割平滑化におけるロバスト性と精度との現在のトレードオフに対処するスケーラブルな手法を提案する。 提案手法と拡散微細調整を併用したマルチスケール平滑化手法により,高騒音レベルで高い信頼性のロバスト性が得られることを示す。
  論文  参考訳（メタデータ） (2023-10-25T17:11:21Z)
• Counterfactual Image Generation for adversarially robust and interpretable Classifiers [1.3859669037499769]
  本稿では,GAN(Generative Adrial Networks)を基盤として,画像から画像への変換を利用した統合フレームワークを提案する。 これは、分類器と識別器を1つのモデルに組み合わせて、実際の画像をそれぞれのクラスに属性付け、生成されたイメージを「フェイク」として生成することで達成される。 モデルが敵攻撃に対するロバスト性の向上を示すことを示すとともに,判別器の「フェイクネス」値が予測の不確かさの指標となることを示す。
  論文  参考訳（メタデータ） (2023-10-01T18:50:29Z)
• Carefully Blending Adversarial Training and Purification Improves Adversarial Robustness [1.2289361708127877]
  CARSOは、防御のために考案された適応的なエンドツーエンドのホワイトボックス攻撃から自身を守ることができる。 提案手法はCIFAR-10, CIFAR-100, TinyImageNet-200の最先端技術により改善されている。
  論文  参考訳（メタデータ） (2023-05-25T09:04:31Z)
• Confidence-aware Training of Smoothed Classifiers for Certified Robustness [75.95332266383417]
  我々は「ガウス雑音下での精度」を、入力に対する対角的ロバスト性の容易に計算可能なプロキシとして利用する。 実験の結果, 提案手法は, 最先端の訓練手法による信頼性向上を継続的に示すことがわかった。
  論文  参考訳（メタデータ） (2022-12-18T03:57:12Z)
• (Certified!!) Adversarial Robustness for Free! [116.6052628829344]
  逆方向の摂動が0.5の2ノルム以内であることに制約された場合,ImageNetでは71%の精度が証明された。 これらの結果は,モデルパラメータの微調整や再学習を必要とせず,事前学習した拡散モデルと画像分類器のみを用いて得られる。
  論文  参考訳（メタデータ） (2022-06-21T17:27:27Z)
• SmoothMix: Training Confidence-calibrated Smoothed Classifiers for Certified Robustness [61.212486108346695]
  自己混合によるスムーズな分類器のロバスト性を制御するためのトレーニングスキームSmoothMixを提案する。 提案手法は, 厳密性に制限された原因として, 信頼性の低い, オフクラスに近いサンプルを効果的に同定する。 提案手法はスムーズな分類器の検証値である$ell$-robustnessを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2021-11-17T18:20:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。