論文の概要: MMARD: Improving the Min-Max Optimization Process in Adversarial Robustness Distillation

• arxiv url: http://arxiv.org/abs/2503.06559v1
• Date: Sun, 09 Mar 2025 11:15:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:48:50.107229
• Title: MMARD: Improving the Min-Max Optimization Process in Adversarial Robustness Distillation
• Title（参考訳）: MMARD:逆ロバスト性蒸留における最小最適化プロセスの改善
• Authors: Yuzheng Wang, Zhaoyu Chen, Dingkang Yang, Yuanhang Wang, Lizhe Qi,
• Abstract要約: 逆ロバスト性蒸留は、小容量モデルのロバスト性を高めるための有望な課題である。 本稿では,汎用的なMin-Max最適化Adrial Robustness Distillation (MMARD)法を提案する。
• 参考スコア（独自算出の注目度）: 8.45974498951529
• License:
• Abstract: Adversarial Robustness Distillation (ARD) is a promising task to boost the robustness of small-capacity models with the guidance of the pre-trained robust teacher. The ARD can be summarized as a min-max optimization process, i.e., synthesizing adversarial examples (inner) & training the student (outer). Although competitive robustness performance, existing ARD methods still have issues. In the inner process, the synthetic training examples are far from the teacher's decision boundary leading to important robust information missing. In the outer process, the student model is decoupled from learning natural and robust scenarios, leading to the robustness saturation, i.e., student performance is highly susceptible to customized teacher selection. To tackle these issues, this paper proposes a general Min-Max optimization Adversarial Robustness Distillation (MMARD) method. For the inner process, we introduce the teacher's robust predictions, which drive the training examples closer to the teacher's decision boundary to explore more robust knowledge. For the outer process, we propose a structured information modeling method based on triangular relationships to measure the mutual information of the model in natural and robust scenarios and enhance the model's ability to understand multi-scenario mapping relationships. Experiments show our MMARD achieves state-of-the-art performance on multiple benchmarks. Besides, MMARD is plug-and-play and convenient to combine with existing methods.
• Abstract（参考訳）: 対人ロバストネス蒸留(ARD)は、訓練済みの頑健な教師の指導により、小容量モデルの堅牢性を高めるための有望な課題である。 ARD は min-max 最適化プロセス、すなわち、敵対的な例 (inner) を合成し、学生 (outer) を訓練するプロセスとして要約することができる。 競争力は高いが、既存のARDメソッドにはまだ問題がある。 内部のプロセスでは、合成トレーニングの例は教師の判断境界から遠く離れており、重要な堅牢な情報が欠落している。 外的プロセスでは、学生モデルは自然で堅牢なシナリオの学習から切り離され、堅牢な飽和、すなわち、生徒のパフォーマンスは教師の選択によって非常に影響を受けやすい。 これらの問題に対処するため,本研究では,一般のMin-Max最適化適応ロバスト性蒸留法(MMARD)を提案する。 内的プロセスでは、教師の頑健な予測を導入し、教師の意思決定境界に近いトレーニング例を導き、より堅牢な知識を探求する。 本研究では,自然かつ堅牢なシナリオにおけるモデルの相互情報を測定し,マルチシナリオマッピング関係を理解する能力を高めるために,三角関係に基づく構造化情報モデリング手法を提案する。 実験により、MMARDは複数のベンチマークで最先端のパフォーマンスを達成することが示された。 また、MMARDはプラグアンドプレイであり、既存のメソッドと組み合わせるのに便利である。

関連論文リスト

• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• Reprogramming Distillation for Medical Foundation Models [37.52464627899668]
  我々はリプログラミング蒸留(RD)と呼ばれる新しいフレームワークを提案する。 RDはファンデーションモデルの本来の機能空間を再プログラミングし、下流のシナリオとより関係があるようにします。 RDは従来のPEFT法やKD法よりも優れた性能を実現している。
  論文  参考訳（メタデータ） (2024-07-09T02:17:51Z)
• Curriculum-scheduled Knowledge Distillation from Multiple Pre-trained Teachers for Multi-domain Sequential Recommendation [102.91236882045021]
  現実世界のシステムにおいて、様々な事前学習されたレコメンデーションモデルを効率的に利用する方法について検討することが不可欠である。 多分野連続的な推薦のために,複数の事前学習教師によるカリキュラムスケジューリング型知識蒸留を提案する。 CKD-MDSRは、複数の教師モデルとして異なるPRMの利点を最大限に活用し、小学生推薦モデルを強化している。
  論文  参考訳（メタデータ） (2024-01-01T15:57:15Z)
• Enhanced Multimodal Representation Learning with Cross-modal KD [14.14709952127258]
  本稿では,クロスモーダル知識蒸留(KD)によるマルチモーダル表現学習の強化のために,訓練時にのみ利用できる補助的モダリティの活用について検討する。 広く採用されている相互情報に基づく目的は、弱教師のショートカットソリューション、すなわち、教師モデルを学生モデルと同じくらい弱くすることで、最大限の相互情報を達成することにつながる。 このような弱解を避けるため、教師と補助モダリティモデルの間の相互情報という追加目的語を導入する。
  論文  参考訳（メタデータ） (2023-06-13T09:35:37Z)
• Adversarial Contrastive Distillation with Adaptive Denoising [15.119013995045192]
  小型モデルのロバスト性を高めるために, コントラスト相関脱ノイズ蒸留法 (CRDND) を提案する。 CRDNDは、堅牢な知識を効率的に伝達し、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-02-17T09:00:18Z)
• EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval [83.79667141681418]
  大規模なニューラルモデル(トランスフォーマーなど)は、情報検索(IR)のための最先端のパフォーマンスを達成する 本研究では,大規模教師モデルで学習したクエリとドキュメント間の相対的幾何を利用した新しい蒸留手法を提案する。 提案手法は, 両エンコーダ (DE) とクロスエンコーダ (CE) の2種類の教師モデルから, 95～97%の教師性能を維持できる1/10の非対称な学生への蒸留に成功した。
  論文  参考訳（メタデータ） (2023-01-27T22:04:37Z)
• Reinforcement Learning with a Terminator [80.34572413850186]
  我々は, TerMDP のパラメータを学習し, 推定問題の構造を活用し, 状態ワイドな信頼境界を提供する。 我々はこれらを用いて証明可能な効率のよいアルゴリズムを構築し、終端を考慮し、その後悔を抑える。
  論文  参考訳（メタデータ） (2022-05-30T18:40:28Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)
• Mutual Adversarial Training: Learning together is better than going alone [82.78852509965547]
  モデル間の相互作用が知識蒸留による堅牢性に与える影響について検討する。 本稿では,複数のモデルを同時に訓練する相互対人訓練(MAT)を提案する。 MATは、ホワイトボックス攻撃下で、モデル堅牢性と最先端メソッドを効果的に改善することができる。
  論文  参考訳（メタデータ） (2021-12-09T15:59:42Z)
• Follow Your Path: a Progressive Method for Knowledge Distillation [23.709919521355936]
  本稿では,教師モデルの指導信号を学生のパラメータ空間に投影することで,新しいモデルに依存しないProKTを提案する。 画像とテキストの双方で実験した結果,提案したProKTは既存の知識蒸留法と比較して常に優れた性能を発揮することがわかった。
  論文  参考訳（メタデータ） (2021-07-20T07:44:33Z)
• Boosting Light-Weight Depth Estimation Via Knowledge Distillation [21.93879961636064]
  本稿では,最小限の計算資源を用いて深度マップを正確に推定できる軽量ネットワークを提案する。 モデル複雑性を最大に低減するコンパクトなモデルアーキテクチャを設計することで、これを実現する。 本手法は, パラメータの1%しか使用せず, 最先端手法に匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2021-05-13T08:42:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。