論文の概要: Model Robustness Meets Data Privacy: Adversarial Robustness Distillation
without Original Data
- arxiv url: http://arxiv.org/abs/2303.11611v1
- Date: Tue, 21 Mar 2023 06:10:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-22 16:19:04.055599
- Title: Model Robustness Meets Data Privacy: Adversarial Robustness Distillation
without Original Data
- Title(参考訳): データプライバシを満足するモデルロバスト性 - オリジナルデータのない逆ロバスト性蒸留
- Authors: Yuzheng Wang, Zhaoyu Chen, Dingkang Yang, Pinxue Guo, Kaixun Jiang,
Wenqiang Zhang, Lizhe Qi
- Abstract要約: DFARD(Data-Free Adversarial Robustness Distillation)と呼ばれる新しい課題を提案する。
DFARDは、オリジナルのデータに頼ることなく、小さな、簡単にデプロイ可能な、堅牢なモデルをトレーニングしようとしている。
トレーニング目標の定式化と情報内容の不足によるモデル性能の低下が,既存の手法と組み合わせた結果が得られた。
- 参考スコア(独自算出の注目度): 11.319688595970682
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale deep learning models have achieved great performance based on
large-scale datasets. Moreover, the existing Adversarial Training (AT) can
further improve the robustness of these large models. However, these large
models are difficult to deploy to mobile devices, and the effect of AT on small
models is very limited. In addition, the data privacy issue (e.g., face data
and diagnosis report) may lead to the original data being unavailable, which
relies on data-free knowledge distillation technology for training. To tackle
these issues, we propose a challenging novel task called Data-Free Adversarial
Robustness Distillation (DFARD), which tries to train small, easily deployable,
robust models without relying on the original data. We find the combination of
existing techniques resulted in degraded model performance due to fixed
training objectives and scarce information content. First, an interactive
strategy is designed for more efficient knowledge transfer to find more
suitable training objectives at each epoch. Then, we explore an adaptive
balance method to suppress information loss and obtain more data information
than previous methods. Experiments show that our method improves baseline
performance on the novel task.
- Abstract(参考訳): 大規模ディープラーニングモデルは、大規模データセットに基づく優れたパフォーマンスを達成している。
さらに、既存のAT(Adversarial Training)は、これらの大きなモデルの堅牢性をさらに向上させることができる。
しかし,これらの大規模モデルは,モバイルデバイスへのデプロイが困難であり,小型モデルに対するatの影響は極めて限られている。
さらに、データプライバシの問題(例えば、顔データと診断レポート)は、トレーニングのためのデータフリーな知識蒸留技術に依存する元のデータが利用できないことにつながる可能性がある。
そこで本研究では,データに頼らずに,小型で容易に展開可能なロバストモデルを訓練することを目的とした,データフリー逆ロバスト性蒸留(dfard)と呼ばれる新たな課題を提案する。
トレーニング目標の定式化と情報内容の不足によるモデル性能の低下が,既存の手法と組み合わせた結果が得られた。
まず、インタラクティブな戦略はより効率的な知識伝達のために設計され、各エポックにおいてより適切な訓練目標を見つける。
次に,情報損失を抑制し,従来よりも多くの情報を得る適応的バランス手法を検討する。
実験により,新しいタスクにおけるベースライン性能が向上することを示す。
関連論文リスト
- Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared
Pre-trained Language Models [109.06052781040916]
本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。
また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。
その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
論文 参考訳(メタデータ) (2023-10-19T15:13:58Z) - PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly
Detection [65.24854366973794]
ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。
本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。
我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
論文 参考訳(メタデータ) (2023-10-18T02:59:57Z) - Progressive reduced order modeling: empowering data-driven modeling with
selective knowledge transfer [0.0]
本稿では,データ・ラーメンの最小化とデータ・ドリブン・モデリングの実践性の向上を図った,段階的縮小順序モデリングフレームワークを提案する。
提案手法は,未使用情報を無視しながら,人間が有意義な知識を選択的に活用する方法と同様,事前訓練されたモデルからの知識をゲートを通じて選択的に伝達する。
我々は、多孔質媒体の輸送、重力駆動流れ、超弾性材料における有限変形など、いくつかのケースで我々の枠組みを検証した。
論文 参考訳(メタデータ) (2023-10-04T23:50:14Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment
Regularization [57.71118589124002]
継続的な学習は破滅的な忘れ込みという課題を克服しようと試み、そこでは新しいタスクを解くための学習が、モデルが以前に学習した情報を忘れる原因となる。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れ込みを抑える新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-15T17:10:51Z) - Fast Machine Unlearning Without Retraining Through Selective Synaptic
Dampening [51.34904967046097]
Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。
高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
論文 参考訳(メタデータ) (2023-08-15T11:30:45Z) - SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。
異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。
実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
論文 参考訳(メタデータ) (2023-08-12T10:33:57Z) - Annealing Self-Distillation Rectification Improves Adversarial Training [0.3222802562733786]
我々は、ロバストモデルの特徴を分析し、ロバストモデルがよりスムーズでよく校正された出力を生成する傾向があることを特定する。
より優れた誘導機構としてソフトラベルを生成するアニーリング自己蒸留法を提案する。
我々は、広範囲な実験とデータセット間の強力なパフォーマンスを通して、ADRの有効性を実証する。
論文 参考訳(メタデータ) (2023-05-20T06:35:43Z) - Improving the Adversarial Robustness of NLP Models by Information
Bottleneck [112.44039792098579]
非破壊機能は敵によって容易に操作でき、NLPモデルを騙すことができる。
本研究では,情報ボトルネック理論を用いて,タスク固有のロバストな特徴を捕捉し,非ロバストな特徴を除去する可能性を検討する。
情報ボトルネックに基づく手法を用いてトレーニングしたモデルでは,ロバストな精度で大幅な改善が達成できることを示す。
論文 参考訳(メタデータ) (2022-06-11T12:12:20Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳(メタデータ) (2020-10-16T17:45:08Z) - Adversarial Self-Supervised Data-Free Distillation for Text
Classification [13.817252068643066]
本稿では,Adversarial Self-Supervised Data-Free Distillation (AS-DFD) という新しい2段階の無添加蒸留法を提案する。
我々のフレームワークは、NLPタスク用に設計された最初のデータフリー蒸留フレームワークである。
論文 参考訳(メタデータ) (2020-10-10T02:46:06Z) - Privacy Enhancing Machine Learning via Removal of Unwanted Dependencies [21.97951347784442]
本稿では,特定のアプリケーションに送信される前に,データ中のセンシティブな情報を除去する,教師付き・敵対型学習手法の新たな変種について検討する。
提案手法は,エンド・ツー・エンド方式で特徴マッピングと予測モデルを同時に保存するプライバシー保護を最適化する。
モバイルセンシングと顔データを用いた実験結果から,予測モデルの実用性能の維持に成功し,予測性能の低下を招いた。
論文 参考訳(メタデータ) (2020-07-30T19:55:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。