論文の概要: Out of Thin Air: Exploring Data-Free Adversarial Robustness Distillation
- arxiv url: http://arxiv.org/abs/2303.11611v2
- Date: Mon, 18 Dec 2023 13:05:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-21 02:39:39.305388
- Title: Out of Thin Air: Exploring Data-Free Adversarial Robustness Distillation
- Title（参考訳）: 大気外:データ不要な対向ロバスト性蒸留の探索
- Authors: Yuzheng Wang, Zhaoyu Chen, Dingkang Yang, Pinxue Guo, Kaixun Jiang,
Wenqiang Zhang, Lizhe Qi
- Abstract要約: 我々は、データに頼ることなく、小型で容易にデプロイ可能で堅牢なモデルを訓練するために、Data-Free Adversarial Robustness Distillation (DFARD)を提案する。
人間の教育にインスパイアされた我々は,知識伝達の効率を向上させるために,プラグアンドプレイ型インタラクティブ温度調整(ITA)戦略を設計する。
- 参考スコア（独自算出の注目度）: 26.744403789694758
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Adversarial Robustness Distillation (ARD) is a promising task to solve the
issue of limited adversarial robustness of small capacity models while
optimizing the expensive computational costs of Adversarial Training (AT).
Despite the good robust performance, the existing ARD methods are still
impractical to deploy in natural high-security scenes due to these methods rely
entirely on original or publicly available data with a similar distribution. In
fact, these data are almost always private, specific, and distinctive for
scenes that require high robustness. To tackle these issues, we propose a
challenging but significant task called Data-Free Adversarial Robustness
Distillation (DFARD), which aims to train small, easily deployable, robust
models without relying on data. We demonstrate that the challenge lies in the
lower upper bound of knowledge transfer information, making it crucial to
mining and transferring knowledge more efficiently. Inspired by human
education, we design a plug-and-play Interactive Temperature Adjustment (ITA)
strategy to improve the efficiency of knowledge transfer and propose an
Adaptive Generator Balance (AGB) module to retain more data information. Our
method uses adaptive hyperparameters to avoid a large number of parameter
tuning, which significantly outperforms the combination of existing techniques.
Meanwhile, our method achieves stable and reliable performance on multiple
benchmarks.
- Abstract（参考訳）: adversarial robustness distillation(adversarial robustness distillation、ard)は、小型キャパシティモデルの限定的なadversarial robustnessを解決し、adversarial training(at)の高価な計算コストを最適化するための有望なタスクである。
優れたロバストな性能にもかかわらず、既存のARDメソッドは、同じ分布を持つオリジナルまたはパブリックなデータに完全に依存するため、自然の高セキュリティシーンにデプロイするには実用的ではない。
実際、これらのデータはほとんど常にプライベートで、特定のもので、高い堅牢性を必要とするシーンに特有である。
これらの問題に対処するために,データに依存しない小型で容易にデプロイ可能な堅牢なモデルをトレーニングすることを目的とした,Data-Free Adversarial Robustness Distillation (DFARD) という,困難だが重要なタスクを提案する。
この課題は知識伝達情報の低い上限にあることを実証し、より効率的に知識のマイニングと転送が重要であることを示す。
人間の教育に刺激されて,知識伝達の効率を向上させるためのプラグアンドプレイ型インタラクティブ温度調整(ITA)戦略を設計し,より多くのデータ情報を保持するための適応発電機バランス(AGB)モジュールを提案する。
提案手法は適応型ハイパーパラメーターを用いて,多数のパラメータチューニングを回避し,既存の手法の組合せを著しく上回っている。
一方,本手法は複数のベンチマークにおいて安定かつ信頼性の高い性能を実現する。
関連論文リスト
- A Scalable Approach to Covariate and Concept Drift Management via Adaptive Data Segmentation [0.562479170374811]
多くの現実世界のアプリケーションでは、継続的機械学習(ML)システムは不可欠だが、データドリフトが困難である。
伝統的なドリフト適応法は典型的にはアンサンブル技術を用いてモデルを更新し、しばしばドリフトされた歴史データを破棄する。
ドリフトしたデータをモデルトレーニングプロセスに明示的に組み込むことは、モデルの精度と堅牢性を大幅に向上させる、と我々は主張する。
論文 参考訳（メタデータ） (2024-11-23T17:35:23Z) - Hammer: Towards Efficient Hot-Cold Data Identification via Online Learning [12.60117987781744]
ビッグデータとクラウドコンピューティング環境におけるストレージリソースの管理には、データの"コールド"と"ホット"状態の正確な識別が必要である。
ルールベースのアルゴリズムや初期のAIテクニックといった従来の手法は、動的ワークロードと苦労することが多い。
本稿では,オンライン学習戦略に基づく新たなソリューションを提案し,精度の向上と運用コストの低減を図る。
論文 参考訳（メタデータ） (2024-11-22T06:46:16Z) - Towards Robust and Cost-Efficient Knowledge Unlearning for Large Language Models [25.91643745340183]
大規模言語モデル(LLM)は、大量のテキストコーパスの事前学習を通じて、強い推論と記憶能力を示す。
これはプライバシーと著作権侵害のリスクを生じさせ、効率的な機械学習手法の必要性を強調している。
LLMのための堅牢で効率的なアンラーニングのための2つの新しい手法を提案する。
論文 参考訳（メタデータ） (2024-08-13T04:18:32Z) - Towards Efficient Vision-Language Tuning: More Information Density, More Generalizability [73.34532767873785]
本稿では,行列が特定の特徴空間に強く属しているかを示すために,情報密度(ID)の概念を提案する。
Dense Information Prompt (DIP)を導入し、情報密度を高め、一般化を改善する。
DIPは、調整可能なパラメータの数と必要なストレージスペースを大幅に減らし、リソース制約のある設定で特に有利になる。
論文 参考訳（メタデータ） (2023-12-17T20:42:43Z) - PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly
Detection [65.24854366973794]
ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。
本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。
我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
論文 参考訳（メタデータ） (2023-10-18T02:59:57Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - Fast Machine Unlearning Without Retraining Through Selective Synaptic
Dampening [51.34904967046097]
Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。
高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
論文 参考訳（メタデータ） (2023-08-15T11:30:45Z) - SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。
異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。
実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
論文 参考訳（メタデータ） (2023-08-12T10:33:57Z) - Annealing Self-Distillation Rectification Improves Adversarial Training [0.10241134756773226]
我々は、ロバストモデルの特徴を分析し、ロバストモデルがよりスムーズでよく校正された出力を生成する傾向があることを特定する。
より優れた誘導機構としてソフトラベルを生成するアニーリング自己蒸留法を提案する。
我々は、広範囲な実験とデータセット間の強力なパフォーマンスを通して、ADRの有効性を実証する。
論文 参考訳（メタデータ） (2023-05-20T06:35:43Z) - Improving the Adversarial Robustness of NLP Models by Information
Bottleneck [112.44039792098579]
非破壊機能は敵によって容易に操作でき、NLPモデルを騙すことができる。
本研究では,情報ボトルネック理論を用いて,タスク固有のロバストな特徴を捕捉し,非ロバストな特徴を除去する可能性を検討する。
情報ボトルネックに基づく手法を用いてトレーニングしたモデルでは,ロバストな精度で大幅な改善が達成できることを示す。
論文 参考訳（メタデータ） (2022-06-11T12:12:20Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳（メタデータ） (2020-10-16T17:45:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。