論文の概要: LTD: Low Temperature Distillation for Robust Adversarial Training

• arxiv url: http://arxiv.org/abs/2111.02331v1
• Date: Wed, 3 Nov 2021 16:26:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-04 13:15:37.095520
• Title: LTD: Low Temperature Distillation for Robust Adversarial Training
• Title（参考訳）: LTD:ロバスト対抗訓練のための低温蒸留
• Authors: Erh-Chung Chen, Che-Rung Lee
• Abstract要約: 敵の訓練は、敵の攻撃に対するニューラルネットワークモデルの堅牢性を高めるために広く使用されている。 理由の1つは、一般的に使われているラベルであるワンホットベクトルが、画像認識の学習プロセスを妨げていることである。 本稿では, 所望のソフトラベルを生成するための知識蒸留の枠組みを基礎として, 低温蒸留法(LTD)を提案する。
• 参考スコア（独自算出の注目度）: 1.8579693774597708
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Adversarial training has been widely used to enhance the robustness of the neural network models against adversarial attacks. However, there still a notable gap between the nature accuracy and the robust accuracy. We found one of the reasons is the commonly used labels, one-hot vectors, hinder the learning process for image recognition. In this paper, we proposed a method, called Low Temperature Distillation (LTD), which is based on the knowledge distillation framework to generate the desired soft labels. Unlike the previous work, LTD uses relatively low temperature in the teacher model, and employs different, but fixed, temperatures for the teacher model and the student model. Moreover, we have investigated the methods to synergize the use of nature data and adversarial ones in LTD. Experimental results show that without extra unlabeled data, the proposed method combined with the previous work can achieve 57.72\% and 30.36\% robust accuracy on CIFAR-10 and CIFAR-100 dataset respectively, which is about 1.21\% improvement of the state-of-the-art methods in average.
• Abstract（参考訳）: 敵のトレーニングは、敵の攻撃に対するニューラルネットワークモデルの堅牢性を高めるために広く使われている。 しかし、それでも自然の正確さと頑健な正確さの間には顕著なギャップがある。 理由の1つは、画像認識の学習過程を妨げる、よく使われるラベル、ワンホットベクトルである。 本稿では, 所望のソフトラベルを生成するための知識蒸留の枠組みを基礎として, 低温蒸留法(LTD)を提案する。 以前の研究とは異なり、LTDは教師モデルでは比較的低温を使用し、教師モデルと生徒モデルでは温度が異なるが固定されている。 さらに,本研究では,自然データと逆データの利用をLTDで相乗化する方法について検討した。 実験の結果,提案手法と先行研究を組み合わせることで,cifar-10とcifar-100のデータセットにおいて,それぞれ57.72\%と30.36\%のロバストな精度が得られることがわかった。

関連論文リスト

• Optimizing YOLOv5s Object Detection through Knowledge Distillation algorithm [37.37311465537091]
  本稿では, 目標検出作業における知識蒸留技術の応用について検討する。 教師ネットワークとしてYOLOv5l, 学生ネットワークとしてYOLOv5sを用いて, 蒸留温度の増加に伴い, 学生の検知精度は徐々に向上した。
  論文  参考訳（メタデータ） (2024-10-16T05:58:08Z)
• What is Left After Distillation? How Knowledge Transfer Impacts Fairness and Bias [1.03590082373586]
  クラスの41%は、クラス単位の精度を比較する際に、蒸留によって統計的に有意な影響を受けている。 本研究は, あるクラスに対する知識蒸留の不均一な影響と, その公正性における潜在的役割を明らかにする。
  論文  参考訳（メタデータ） (2024-10-10T22:43:00Z)
• One Step Diffusion-based Super-Resolution with Time-Aware Distillation [60.262651082672235]
  拡散に基づく画像超解像(SR)法は,低解像度画像から細部まで細部まで,高解像度画像の再構成に有望であることを示す。 近年,拡散型SRモデルの知識蒸留によるサンプリング効率の向上が試みられている。 我々は,効率的な画像超解像を実現するため,TAD-SRというタイムアウェア拡散蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-08-14T11:47:22Z)
• Reducing Spatial Fitting Error in Distillation of Denoising Diffusion Models [13.364271265023953]
  拡散モデルの知識蒸留は、この制限に短いサンプリングプロセスで対処する有効な方法である。 本研究は,教師モデルと学生モデルの両方のトレーニングにおいて発生する空間的適合誤差に起因する。 SFERDは教師モデルと設計した意味的勾配予測器からの注意誘導を利用して、学生の適合誤差を低減する。 CIFAR-10で5.31、ImageNet 64$times$64で9.39のFIDを実現する。
  論文  参考訳（メタデータ） (2023-11-07T09:19:28Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• Masked Images Are Counterfactual Samples for Robust Fine-tuning [77.82348472169335]
  微調整の深層学習モデルは、分布内(ID)性能と分布外(OOD)堅牢性の間のトレードオフにつながる可能性がある。 そこで本研究では,マスク付き画像を対物サンプルとして用いて,ファインチューニングモデルのロバスト性を向上させる新しいファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-06T11:51:28Z)
• (Certified!!) Adversarial Robustness for Free! [116.6052628829344]
  逆方向の摂動が0.5の2ノルム以内であることに制約された場合,ImageNetでは71%の精度が証明された。 これらの結果は,モデルパラメータの微調整や再学習を必要とせず,事前学習した拡散モデルと画像分類器のみを用いて得られる。
  論文  参考訳（メタデータ） (2022-06-21T17:27:27Z)
• Churn Reduction via Distillation [54.5952282395487]
  本研究は, 基礎モデルを教師として用いた蒸留によるトレーニングと, 予測的チャーンに対する明示的な制約によるトレーニングとの等価性を示す。 次に, 蒸留が近年の多くのベースラインに対する低チャーン訓練に有効であることを示す。
  論文  参考訳（メタデータ） (2021-06-04T18:03:31Z)
• Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
  そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。 我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-05-18T15:13:00Z)
• Enhancing Data-Free Adversarial Distillation with Activation Regularization and Virtual Interpolation [19.778192371420793]
  データフリーの逆蒸留フレームワークは生成ネットワークを展開し、教師モデルの知識を生徒モデルに転送する。 データ生成効率を向上させるために、アクティベーションレギュラライザと仮想敵対法を追加します。 CIFAR-100の最先端データフリー手法よりも精度が13.8%高い。
  論文  参考訳（メタデータ） (2021-02-23T11:37:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。