論文の概要: AdvFunMatch: When Consistent Teaching Meets Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2305.14700v2
• Date: Thu, 25 May 2023 02:46:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 10:35:55.379226
• Title: AdvFunMatch: When Consistent Teaching Meets Adversarial Robustness
• Title（参考訳）: AdvFunMatch: 一貫性のある教育が逆境のロバストさに出会ったとき
• Authors: Zihui Wu, Haichang Gao, Bingqian Zhou, Ping Wang
• Abstract要約: 本稿では,AdvFunMatch (AdvFunMatch) という簡易かつ効果的な手法を提案する。 トレーニングデータの$ellp$-normボール内のすべてのデータポイントの分布を、一貫した教育に従って一致させることを目的としている。 実験結果から,AdvFunMatchはクリーンさとロバストさの両面から学生モデルを効果的に生成できることが示唆された。
• 参考スコア（独自算出の注目度）: 7.934235361707504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: \emph{Consistent teaching} is an effective paradigm for implementing knowledge distillation (KD), where both student and teacher models receive identical inputs, and KD is treated as a function matching task (FunMatch). However, one limitation of FunMatch is that it does not account for the transfer of adversarial robustness, a model's resistance to adversarial attacks. To tackle this problem, we propose a simple but effective strategy called Adversarial Function Matching (AdvFunMatch), which aims to match distributions for all data points within the $\ell_p$-norm ball of the training data, in accordance with consistent teaching. Formulated as a min-max optimization problem, AdvFunMatch identifies the worst-case instances that maximizes the KL-divergence between teacher and student model outputs, which we refer to as "mismatched examples," and then matches the outputs on these mismatched examples. Our experimental results show that AdvFunMatch effectively produces student models with both high clean accuracy and robustness. Furthermore, we reveal that strong data augmentations (\emph{e.g.}, AutoAugment) are beneficial in AdvFunMatch, whereas prior works have found them less effective in adversarial training. Code is available at \url{https://gitee.com/zihui998/adv-fun-match}.
• Abstract（参考訳）: \emph{Consistent teaching}は知識蒸留(KD)を実装するための効果的なパラダイムであり、学生モデルと教師モデルの両方が同一の入力を受け取り、KDは関数マッチングタスク(FunMatch)として扱われる。 しかし、FunMatchの1つの制限は、敵の攻撃に対するモデルの抵抗である敵の堅牢性の伝達を考慮していないことである。 そこで本研究では,学習データの$\ell_p$-norm球内のすべてのデータポイントの分布を一貫した指導に従ってマッチングすることを目的とした,adversarial function matching(advfunmatch)と呼ばれる単純かつ効果的な戦略を提案する。 min-max最適化問題として定式化されたAdvFunMatchは、教師と生徒のモデル出力のKL偏差を最大化する最悪の事例を特定し、これらのミスマッチした例で出力と一致させる。 実験の結果,advfunmatchは高い正確さと頑健さの両立した学生モデルを効果的に生成できることがわかった。 さらに,advfunmatchでは強いデータ拡張(例えば,自動学習)が有益であるのに対し,先行研究では逆行訓練では効果が低いことが判明した。 コードは \url{https://gitee.com/zihui998/adv-fun-match} で利用可能である。

関連論文リスト

• Relational Representation Distillation [6.24302896438145]
  本稿では,教師モデルと学生モデルの関係を探求し,強化するためにRepresentation Distillation (RRD)を導入する。 自己監督学習の原則に触発されて、正確な複製と類似性に焦点を当てた、リラックスした対照的な損失を使用する。 我々は,CIFAR-100とImageNet ILSVRC-2012において優れた性能を示し,KDと組み合わせた場合,教師ネットワークよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-07-16T14:56:13Z)
• Adapters Mixup: Mixing Parameter-Efficient Adapters to Enhance the Adversarial Robustness of Fine-tuned Pre-trained Text Classifiers [9.250758784663411]
  AdpMixupは、アダプタによる微調整とミックスアップによる敵の増強を組み合わせて、堅牢な推論のために既存の知識を動的に活用する。 実験によると、AdpMixupは、既知の攻撃と未知の攻撃の両方において、トレーニング効率と堅牢性の間の最良のトレードオフを達成する。
  論文  参考訳（メタデータ） (2024-01-18T16:27:18Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Match me if you can: Semi-Supervised Semantic Correspondence Learning with Unpaired Images [76.47980643420375]
  本稿では,意味的対応の学習に固有のデータ・ハングリー・マターが存在するという仮説に基づく。 我々は,機械の監督を通じて,ペア化されたキーポイントを確実に強化する単純な機械注釈器を実証する。 我々のモデルは,SPair-71k,PF-PASCAL,PF-WILLOWといった意味対応学習ベンチマークの最先端モデルを上回る。
  論文  参考訳（メタデータ） (2023-11-30T13:22:15Z)
• Boosting Semi-Supervised Learning by Exploiting All Unlabeled Data [21.6350640726058]
  半教師付き学習(SSL)は、大きなラベル付きデータセットへの依存を緩和する大きな可能性を秘めているため、大きな注目を集めている。 エントロピー平均損失(EML)と適応負学習(ANL)の2つの新しい手法を提案する。 これらのテクニックをFixMatchと統合し、シンプルながら強力なフレームワークであるFullMatchを開発します。
  論文  参考訳（メタデータ） (2023-03-20T12:44:11Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Mutual Adversarial Training: Learning together is better than going alone [82.78852509965547]
  モデル間の相互作用が知識蒸留による堅牢性に与える影響について検討する。 本稿では,複数のモデルを同時に訓練する相互対人訓練(MAT)を提案する。 MATは、ホワイトボックス攻撃下で、モデル堅牢性と最先端メソッドを効果的に改善することができる。
  論文  参考訳（メタデータ） (2021-12-09T15:59:42Z)
• Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
  暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。 ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。 本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
  論文  参考訳（メタデータ） (2021-05-11T03:38:16Z)
• CoMatch: Semi-supervised Learning with Contrastive Graph Regularization [86.84486065798735]
  CoMatchは、支配的なアプローチを統一する、新しい半教師付き学習手法である。 複数のデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-11-23T02:54:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。