Fugu-MT 論文翻訳(概要): DE-CROP: Data-efficient Certified Robustness for Pretrained Classifiers

論文の概要: DE-CROP: Data-efficient Certified Robustness for Pretrained Classifiers

arxiv url: http://arxiv.org/abs/2210.08929v1
Date: Mon, 17 Oct 2022 10:41:18 GMT
ステータス: 処理完了
システム内更新日: 2022-10-18 17:22:38.377770
Title: DE-CROP: Data-efficient Certified Robustness for Pretrained Classifiers
Title（参考訳）: DE-CROP:事前学習型分類器のデータ効率保証ロバスト性
Authors: Gaurav Kumar Nayak, Ruchit Rawal, Anirban Chakraborty
Abstract要約: そこで本研究では,いくつかのトレーニングサンプルを用いて,事前学習したモデルのロバスト性を証明する新しい手法を提案する。提案手法は,各トレーニングサンプルに対応するクラス境界および補間標本を生成する。複数のベンチマークデータセットのベースラインに対する大幅な改善と、課題のあるブラックボックス設定の下でも同様のパフォーマンスを報告しています。
参考スコア（独自算出の注目度）: 21.741026088202126
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Certified defense using randomized smoothing is a popular technique to provide robustness guarantees for deep neural networks against l2 adversarial attacks. Existing works use this technique to provably secure a pretrained non-robust model by training a custom denoiser network on entire training data. However, access to the training set may be restricted to a handful of data samples due to constraints such as high transmission cost and the proprietary nature of the data. Thus, we formulate a novel problem of "how to certify the robustness of pretrained models using only a few training samples". We observe that training the custom denoiser directly using the existing techniques on limited samples yields poor certification. To overcome this, our proposed approach (DE-CROP) generates class-boundary and interpolated samples corresponding to each training sample, ensuring high diversity in the feature space of the pretrained classifier. We train the denoiser by maximizing the similarity between the denoised output of the generated sample and the original training sample in the classifier's logit space. We also perform distribution level matching using domain discriminator and maximum mean discrepancy that yields further benefit. In white box setup, we obtain significant improvements over the baseline on multiple benchmark datasets and also report similar performance under the challenging black box setup.
Abstract（参考訳）: ランダム化平滑化を用いた認証防御は、l2攻撃に対するディープニューラルネットワークの堅牢性を保証するための一般的なテクニックである。既存の作業では、トレーニングデータ全体のカスタムデノイザネットワークをトレーニングすることで、事前訓練された非ロバストモデルを確実に確保するためにこの技術を使用している。しかしながら、トレーニングセットへのアクセスは、高い送信コストやプロプライエタリなデータの性質といった制約のために、少数のデータサンプルに限定される可能性がある。そこで,本研究では,「少数のトレーニングサンプルを用いて事前学習したモデルの堅牢性を認証する方法」という新しい問題を定式化する。限られたサンプルで既存の技術を直接使用してカスタムデノイザーをトレーニングすることは、認証が不十分であることを観察する。これを解決するために,提案手法 (DE-CROP) は,各トレーニングサンプルに対応するクラス境界および補間サンプルを生成し,事前学習した分類器の特徴空間の多様性を確保する。生成したサンプルの消音出力と分類器のロジット空間における元のトレーニングサンプルとの類似性を最大化することでデノイザーを訓練する。また、ドメイン判別器と最大平均偏差を用いて分布レベルマッチングを行い、さらなる利益を得る。ホワイトボックスのセットアップでは、複数のベンチマークデータセットのベースラインを大きく改善し、挑戦的なブラックボックスのセットアップでも同様のパフォーマンスを報告します。

関連論文リスト

CPSample: Classifier Protected Sampling for Guarding Training Data During Diffusion [58.64822817224639]
拡散モデルはトレーニングデータを正確に再現する傾向がある。 CPSampleは,画像品質を保ちながら,トレーニングデータの複製を防止するためにサンプリングプロセスを変更する手法である。 CPSample は CIFAR-10 と CelebA-64 でそれぞれ 4.97 と 2.97 の FID スコアを達成している。
論文参考訳（メタデータ） (2024-09-11T05:42:01Z)
CALICO: Confident Active Learning with Integrated Calibration [11.978551396144532]
トレーニングプロセス中にサンプル選択に使用される信頼度を自己校正するALフレームワークを提案する。ラベル付きサンプルが少ないソフトマックス分類器と比較して,分類性能が向上した。
論文参考訳（メタデータ） (2024-07-02T15:05:19Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Learning from Data with Noisy Labels Using Temporal Self-Ensemble [11.245833546360386]
ディープニューラルネットワーク(DNN)はノイズラベルを記憶する膨大な能力を持つ。現在最先端の手法では、損失の少ないサンプルを用いて二重ネットワークを訓練するコトレーニング方式が提案されている。本稿では,単一のネットワークのみをトレーニングすることで,シンプルで効果的なロバストトレーニング手法を提案する。
論文参考訳（メタデータ） (2022-07-21T08:16:31Z)
Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
論文参考訳（メタデータ） (2022-06-13T15:39:43Z)
CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文参考訳（メタデータ） (2022-06-01T03:02:07Z)
A Data Cartography based MixUp for Pre-trained Language Models [47.90235939359225]
MixUpは、トレーニング中にランダムなトレーニングサンプルとラベルを組み合わせて追加のサンプルを生成するデータ拡張戦略である。トレーニングダイナミクスを活用した新しいMixUp戦略であるTDMixUpを提案する。提案手法は, トレーニングデータの少ないサブセットと強いベースラインとを比較した場合, また, NLPタスクの領域内および領域外の両方で, トレーニング済み言語モデルであるBERTのキャリブレーション誤差が低いことを実証的に検証した。
論文参考訳（メタデータ） (2022-05-06T17:59:19Z)
Deep Ensembles for Low-Data Transfer Learning [21.578470914935938]
我々は、事前訓練されたモデルからアンサンブルを作成する様々な方法を研究する。プレトレーニング自体が多様性の優れた源であることが示される。本稿では,任意の下流データセットに対して,事前学習したモデルのサブセットを効率的に同定する実用的なアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-10-14T07:59:00Z)
Improved Robustness to Open Set Inputs via Tempered Mixup [37.98372874213471]
本稿では,背景データセットを使わずにオープンセットのロバスト性を向上する簡単な正規化手法を提案する。提案手法は,オープンセット分類ベースラインにおける最先端の成果を達成し,大規模オープンセット分類問題に容易にスケールすることができる。
論文参考訳（メタデータ） (2020-09-10T04:01:31Z)
Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文参考訳（メタデータ） (2020-04-29T10:54:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。