論文の概要: Out of Thin Air: Exploring Data-Free Adversarial Robustness Distillation
- arxiv url: http://arxiv.org/abs/2303.11611v2
- Date: Mon, 18 Dec 2023 13:05:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 02:39:39.305388
- Title: Out of Thin Air: Exploring Data-Free Adversarial Robustness Distillation
- Title(参考訳): 大気外:データ不要な対向ロバスト性蒸留の探索
- Authors: Yuzheng Wang, Zhaoyu Chen, Dingkang Yang, Pinxue Guo, Kaixun Jiang,
Wenqiang Zhang, Lizhe Qi
- Abstract要約: 我々は、データに頼ることなく、小型で容易にデプロイ可能で堅牢なモデルを訓練するために、Data-Free Adversarial Robustness Distillation (DFARD)を提案する。
人間の教育にインスパイアされた我々は,知識伝達の効率を向上させるために,プラグアンドプレイ型インタラクティブ温度調整(ITA)戦略を設計する。
- 参考スコア(独自算出の注目度): 26.744403789694758
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial Robustness Distillation (ARD) is a promising task to solve the
issue of limited adversarial robustness of small capacity models while
optimizing the expensive computational costs of Adversarial Training (AT).
Despite the good robust performance, the existing ARD methods are still
impractical to deploy in natural high-security scenes due to these methods rely
entirely on original or publicly available data with a similar distribution. In
fact, these data are almost always private, specific, and distinctive for
scenes that require high robustness. To tackle these issues, we propose a
challenging but significant task called Data-Free Adversarial Robustness
Distillation (DFARD), which aims to train small, easily deployable, robust
models without relying on data. We demonstrate that the challenge lies in the
lower upper bound of knowledge transfer information, making it crucial to
mining and transferring knowledge more efficiently. Inspired by human
education, we design a plug-and-play Interactive Temperature Adjustment (ITA)
strategy to improve the efficiency of knowledge transfer and propose an
Adaptive Generator Balance (AGB) module to retain more data information. Our
method uses adaptive hyperparameters to avoid a large number of parameter
tuning, which significantly outperforms the combination of existing techniques.
Meanwhile, our method achieves stable and reliable performance on multiple
benchmarks.
- Abstract(参考訳): adversarial robustness distillation(adversarial robustness distillation、ard)は、小型キャパシティモデルの限定的なadversarial robustnessを解決し、adversarial training(at)の高価な計算コストを最適化するための有望なタスクである。
優れたロバストな性能にもかかわらず、既存のARDメソッドは、同じ分布を持つオリジナルまたはパブリックなデータに完全に依存するため、自然の高セキュリティシーンにデプロイするには実用的ではない。
実際、これらのデータはほとんど常にプライベートで、特定のもので、高い堅牢性を必要とするシーンに特有である。
これらの問題に対処するために,データに依存しない小型で容易にデプロイ可能な堅牢なモデルをトレーニングすることを目的とした,Data-Free Adversarial Robustness Distillation (DFARD) という,困難だが重要なタスクを提案する。
この課題は知識伝達情報の低い上限にあることを実証し、より効率的に知識のマイニングと転送が重要であることを示す。
人間の教育に刺激されて,知識伝達の効率を向上させるためのプラグアンドプレイ型インタラクティブ温度調整(ITA)戦略を設計し,より多くのデータ情報を保持するための適応発電機バランス(AGB)モジュールを提案する。
提案手法は適応型ハイパーパラメーターを用いて,多数のパラメータチューニングを回避し,既存の手法の組合せを著しく上回っている。
一方,本手法は複数のベンチマークにおいて安定かつ信頼性の高い性能を実現する。
関連論文リスト
- Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared
Pre-trained Language Models [109.06052781040916]
本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。
また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。
その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
論文 参考訳(メタデータ) (2023-10-19T15:13:58Z) - PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly
Detection [65.24854366973794]
ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。
本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。
我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
論文 参考訳(メタデータ) (2023-10-18T02:59:57Z) - Progressive reduced order modeling: empowering data-driven modeling with
selective knowledge transfer [0.0]
本稿では,データ・ラーメンの最小化とデータ・ドリブン・モデリングの実践性の向上を図った,段階的縮小順序モデリングフレームワークを提案する。
提案手法は,未使用情報を無視しながら,人間が有意義な知識を選択的に活用する方法と同様,事前訓練されたモデルからの知識をゲートを通じて選択的に伝達する。
我々は、多孔質媒体の輸送、重力駆動流れ、超弾性材料における有限変形など、いくつかのケースで我々の枠組みを検証した。
論文 参考訳(メタデータ) (2023-10-04T23:50:14Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は破滅的な忘れ込みという課題を克服しようと試み、そこでは新しいタスクを解くための学習が、モデルが以前に学習した情報を忘れる原因となる。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れ込みを抑える新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-15T17:10:51Z) - Fast Machine Unlearning Without Retraining Through Selective Synaptic
Dampening [51.34904967046097]
Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。
高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2023-08-15T11:30:45Z) - SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。
異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。
実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
論文 参考訳(メタデータ) (2023-08-12T10:33:57Z) - Annealing Self-Distillation Rectification Improves Adversarial Training [0.10241134756773226]
我々は、ロバストモデルの特徴を分析し、ロバストモデルがよりスムーズでよく校正された出力を生成する傾向があることを特定する。
より優れた誘導機構としてソフトラベルを生成するアニーリング自己蒸留法を提案する。
我々は、広範囲な実験とデータセット間の強力なパフォーマンスを通して、ADRの有効性を実証する。
論文 参考訳(メタデータ) (2023-05-20T06:35:43Z) - Improving the Adversarial Robustness of NLP Models by Information
Bottleneck [112.44039792098579]
非破壊機能は敵によって容易に操作でき、NLPモデルを騙すことができる。
本研究では,情報ボトルネック理論を用いて,タスク固有のロバストな特徴を捕捉し,非ロバストな特徴を除去する可能性を検討する。
情報ボトルネックに基づく手法を用いてトレーニングしたモデルでは,ロバストな精度で大幅な改善が達成できることを示す。
論文 参考訳(メタデータ) (2022-06-11T12:12:20Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳(メタデータ) (2020-10-16T17:45:08Z) - Adversarial Self-Supervised Data-Free Distillation for Text
Classification [13.817252068643066]
本稿では,Adversarial Self-Supervised Data-Free Distillation (AS-DFD) という新しい2段階の無添加蒸留法を提案する。
我々のフレームワークは、NLPタスク用に設計された最初のデータフリー蒸留フレームワークである。
論文 参考訳(メタデータ) (2020-10-10T02:46:06Z) - Privacy Enhancing Machine Learning via Removal of Unwanted Dependencies [21.97951347784442]
本稿では,特定のアプリケーションに送信される前に,データ中のセンシティブな情報を除去する,教師付き・敵対型学習手法の新たな変種について検討する。
提案手法は,エンド・ツー・エンド方式で特徴マッピングと予測モデルを同時に保存するプライバシー保護を最適化する。
モバイルセンシングと顔データを用いた実験結果から,予測モデルの実用性能の維持に成功し,予測性能の低下を招いた。
論文 参考訳(メタデータ) (2020-07-30T19:55:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。