論文の概要: LTD: Low Temperature Distillation for Robust Adversarial Training
- arxiv url: http://arxiv.org/abs/2111.02331v3
- Date: Fri, 30 Jun 2023 06:56:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-03 16:10:22.034645
- Title: LTD: Low Temperature Distillation for Robust Adversarial Training
- Title（参考訳）: LTD:ロバスト対抗訓練のための低温蒸留
- Authors: Erh-Chung Chen, Che-Rung Lee
- Abstract要約: 敵の訓練は、敵の攻撃に対するニューラルネットワークモデルの堅牢性を高めるために広く使用されている。
ニューラルネットワークモデルの人気にもかかわらず、これらのモデルの自然な精度とロバストな精度の間には大きなギャップがある。
改良された知識蒸留フレームワークを用いてソフトラベルを生成する,低温蒸留(LTD)と呼ばれる新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 1.3300217947936062
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial training has been widely used to enhance the robustness of neural
network models against adversarial attacks. Despite the popularity of neural
network models, a significant gap exists between the natural and robust
accuracy of these models. In this paper, we identify one of the primary reasons
for this gap is the common use of one-hot vectors as labels, which hinders the
learning process for image recognition. Representing ambiguous images with
one-hot vectors is imprecise and may lead the model to suboptimal solutions. To
overcome this issue, we propose a novel method called Low Temperature
Distillation (LTD) that generates soft labels using the modified knowledge
distillation framework. Unlike previous approaches, LTD uses a relatively low
temperature in the teacher model and fixed, but different temperatures for the
teacher and student models. This modification boosts the model's robustness
without encountering the gradient masking problem that has been addressed in
defensive distillation. The experimental results demonstrate the effectiveness
of the proposed LTD method combined with previous techniques, achieving robust
accuracy rates of 58.19%, 31.13%, and 42.08% on CIFAR-10, CIFAR-100, and
ImageNet data sets, respectively, without additional unlabeled data.
- Abstract（参考訳）: 敵のトレーニングは、敵の攻撃に対するニューラルネットワークモデルの堅牢性を高めるために広く使われている。
ニューラルネットワークモデルの人気にもかかわらず、これらのモデルの自然な精度と堅牢さの間には大きなギャップがある。
本稿では,このギャップの主な原因の1つとして,画像認識の学習過程を妨げる1ホットベクトルをラベルとして用いていることを挙げる。
1ホットベクトルによる曖昧な像の表現は不正確であり、モデルが最適でない解へと導く可能性がある。
そこで本研究では, 低温蒸留法 (LTD) を改良した知識蒸留フレームワークを用いて軟質ラベルを生成する手法を提案する。
従来のアプローチとは異なり、LTDは教師モデルでは比較的低温を使用し、教師モデルと生徒モデルでは温度が異なる。
この変更は、防御蒸留で対処された勾配マスキング問題に遭遇することなく、モデルの堅牢性を高める。
実験の結果,CIFAR-10, CIFAR-100, ImageNetデータセットにおいて, それぞれ58.19%, 31.13%, 42.08%の堅牢な精度を達成し, 追加のラベル付きデータなしでLTD法の有効性を示した。
関連論文リスト
- Optimizing YOLOv5s Object Detection through Knowledge Distillation algorithm [37.37311465537091]
本稿では, 目標検出作業における知識蒸留技術の応用について検討する。
教師ネットワークとしてYOLOv5l, 学生ネットワークとしてYOLOv5sを用いて, 蒸留温度の増加に伴い, 学生の検知精度は徐々に向上した。
論文 参考訳（メタデータ） (2024-10-16T05:58:08Z) - What is Left After Distillation? How Knowledge Transfer Impacts Fairness and Bias [1.03590082373586]
クラスの41%は、クラス単位の精度を比較する際に、蒸留によって統計的に有意な影響を受けている。
本研究は, あるクラスに対する知識蒸留の不均一な影響と, その公正性における潜在的役割を明らかにする。
論文 参考訳（メタデータ） (2024-10-10T22:43:00Z) - One Step Diffusion-based Super-Resolution with Time-Aware Distillation [60.262651082672235]
拡散に基づく画像超解像(SR)法は,低解像度画像から細部まで細部まで,高解像度画像の再構成に有望であることを示す。
近年,拡散型SRモデルの知識蒸留によるサンプリング効率の向上が試みられている。
我々は,効率的な画像超解像を実現するため,TAD-SRというタイムアウェア拡散蒸留法を提案する。
論文 参考訳（メタデータ） (2024-08-14T11:47:22Z) - Reducing Spatial Fitting Error in Distillation of Denoising Diffusion
Models [13.364271265023953]
拡散モデルの知識蒸留は、この制限に短いサンプリングプロセスで対処する有効な方法である。
本研究は,教師モデルと学生モデルの両方のトレーニングにおいて発生する空間的適合誤差に起因する。
SFERDは教師モデルと設計した意味的勾配予測器からの注意誘導を利用して、学生の適合誤差を低減する。
CIFAR-10で5.31、ImageNet 64$times$64で9.39のFIDを実現する。
論文 参考訳（メタデータ） (2023-11-07T09:19:28Z) - BOOT: Data-free Distillation of Denoising Diffusion Models with
Bootstrapping [64.54271680071373]
拡散モデルは多様な画像を生成する優れた可能性を示している。
知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。
本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-06-08T20:30:55Z) - Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。
そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
論文 参考訳（メタデータ） (2023-03-06T11:51:28Z) - (Certified!!) Adversarial Robustness for Free! [116.6052628829344]
逆方向の摂動が0.5の2ノルム以内であることに制約された場合,ImageNetでは71%の精度が証明された。
これらの結果は,モデルパラメータの微調整や再学習を必要とせず,事前学習した拡散モデルと画像分類器のみを用いて得られる。
論文 参考訳（メタデータ） (2022-06-21T17:27:27Z) - Churn Reduction via Distillation [54.5952282395487]
本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。
次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
論文 参考訳（メタデータ） (2021-06-04T18:03:31Z) - Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。
我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。
CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2021-05-18T15:13:00Z) - Enhancing Data-Free Adversarial Distillation with Activation
Regularization and Virtual Interpolation [19.778192371420793]
データフリーの逆蒸留フレームワークは生成ネットワークを展開し、教師モデルの知識を生徒モデルに転送する。
データ生成効率を向上させるために、アクティベーションレギュラライザと仮想敵対法を追加します。
CIFAR-100の最先端データフリー手法よりも精度が13.8%高い。
論文 参考訳（メタデータ） (2021-02-23T11:37:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。