論文の概要: Model Robustness Meets Data Privacy: Adversarial Robustness Distillation
without Original Data
- arxiv url: http://arxiv.org/abs/2303.11611v1
- Date: Tue, 21 Mar 2023 06:10:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-22 16:19:04.055599
- Title: Model Robustness Meets Data Privacy: Adversarial Robustness Distillation
without Original Data
- Title（参考訳）: データプライバシを満足するモデルロバスト性 - オリジナルデータのない逆ロバスト性蒸留
- Authors: Yuzheng Wang, Zhaoyu Chen, Dingkang Yang, Pinxue Guo, Kaixun Jiang,
Wenqiang Zhang, Lizhe Qi
- Abstract要約: DFARD(Data-Free Adversarial Robustness Distillation)と呼ばれる新しい課題を提案する。
DFARDは、オリジナルのデータに頼ることなく、小さな、簡単にデプロイ可能な、堅牢なモデルをトレーニングしようとしている。
トレーニング目標の定式化と情報内容の不足によるモデル性能の低下が,既存の手法と組み合わせた結果が得られた。
- 参考スコア（独自算出の注目度）: 11.319688595970682
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale deep learning models have achieved great performance based on
large-scale datasets. Moreover, the existing Adversarial Training (AT) can
further improve the robustness of these large models. However, these large
models are difficult to deploy to mobile devices, and the effect of AT on small
models is very limited. In addition, the data privacy issue (e.g., face data
and diagnosis report) may lead to the original data being unavailable, which
relies on data-free knowledge distillation technology for training. To tackle
these issues, we propose a challenging novel task called Data-Free Adversarial
Robustness Distillation (DFARD), which tries to train small, easily deployable,
robust models without relying on the original data. We find the combination of
existing techniques resulted in degraded model performance due to fixed
training objectives and scarce information content. First, an interactive
strategy is designed for more efficient knowledge transfer to find more
suitable training objectives at each epoch. Then, we explore an adaptive
balance method to suppress information loss and obtain more data information
than previous methods. Experiments show that our method improves baseline
performance on the novel task.
- Abstract（参考訳）: 大規模ディープラーニングモデルは、大規模データセットに基づく優れたパフォーマンスを達成している。
さらに、既存のAT(Adversarial Training)は、これらの大きなモデルの堅牢性をさらに向上させることができる。
しかし,これらの大規模モデルは,モバイルデバイスへのデプロイが困難であり,小型モデルに対するatの影響は極めて限られている。
さらに、データプライバシの問題(例えば、顔データと診断レポート)は、トレーニングのためのデータフリーな知識蒸留技術に依存する元のデータが利用できないことにつながる可能性がある。
そこで本研究では,データに頼らずに,小型で容易に展開可能なロバストモデルを訓練することを目的とした,データフリー逆ロバスト性蒸留(dfard)と呼ばれる新たな課題を提案する。
トレーニング目標の定式化と情報内容の不足によるモデル性能の低下が,既存の手法と組み合わせた結果が得られた。
まず、インタラクティブな戦略はより効率的な知識伝達のために設計され、各エポックにおいてより適切な訓練目標を見つける。
次に,情報損失を抑制し,従来よりも多くの情報を得る適応的バランス手法を検討する。
実験により,新しいタスクにおけるベースライン性能が向上することを示す。
関連論文リスト
- Tailored Federated Learning: Leveraging Direction Regulation & Knowledge Distillation [2.1670850691529275]
フェデレーション学習は、医療のようなプライバシーに敏感な領域において、変革的なトレーニングパラダイムとして登場した。
本稿では,モデルデルタ正則化,パーソナライズされたモデル,フェデレーションド・ナレッジ・蒸留,ミックスプールを統合したFL最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-09-29T15:39:39Z) - Towards Robust and Cost-Efficient Knowledge Unlearning for Large Language Models [25.91643745340183]
大規模言語モデル(LLM)は、大量のテキストコーパスの事前学習を通じて、強い推論と記憶能力を示す。
これはプライバシーと著作権侵害のリスクを生じさせ、効率的な機械学習手法の必要性を強調している。
LLMのための堅牢で効率的なアンラーニングのための2つの新しい手法を提案する。
論文 参考訳（メタデータ） (2024-08-13T04:18:32Z) - Machine Unlearning with Minimal Gradient Dependence for High Unlearning Ratios [18.73206066109299]
ミニ・アンラーニング(Mini-Unlearning)は、批判的な観察を活かした新しいアプローチである。
この軽量でスケーラブルな方法は、モデルの精度を大幅に向上し、メンバシップ推論攻撃に対する耐性を高める。
実験の結果,Mini-Unlearningは非学習率が高いだけでなく,既存の手法よりも精度と安全性が優れていることがわかった。
論文 参考訳（メタデータ） (2024-06-24T01:43:30Z) - Towards Efficient Vision-Language Tuning: More Information Density, More Generalizability [73.34532767873785]
本稿では,行列が特定の特徴空間に強く属しているかを示すために,情報密度(ID)の概念を提案する。
Dense Information Prompt (DIP)を導入し、情報密度を高め、一般化を改善する。
DIPは、調整可能なパラメータの数と必要なストレージスペースを大幅に減らし、リソース制約のある設定で特に有利になる。
論文 参考訳（メタデータ） (2023-12-17T20:42:43Z) - PREM: A Simple Yet Effective Approach for Node-Level Graph Anomaly
Detection [65.24854366973794]
ノードレベルのグラフ異常検出(GAD)は、医学、ソーシャルネットワーク、eコマースなどの分野におけるグラフ構造化データから異常ノードを特定する上で重要な役割を果たす。
本稿では,GADの効率を向上させるために,PREM (preprocessing and Matching) という簡単な手法を提案する。
我々のアプローチは、強力な異常検出機能を維持しながら、GADを合理化し、時間とメモリ消費を削減します。
論文 参考訳（メタデータ） (2023-10-18T02:59:57Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - Fast Machine Unlearning Without Retraining Through Selective Synaptic
Dampening [51.34904967046097]
Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。
高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
論文 参考訳（メタデータ） (2023-08-15T11:30:45Z) - SLoRA: Federated Parameter Efficient Fine-Tuning of Language Models [28.764782216513037]
FL(Federated Learning)は、FLエッジクライアントの分散データとプライベートデータの恩恵を受けることができる。
異種データシナリオにおけるLoRAの重要な制約を克服するSLoRAという手法を提案する。
実験の結果,SLoRAは完全微調整に匹敵する性能を示した。
論文 参考訳（メタデータ） (2023-08-12T10:33:57Z) - Annealing Self-Distillation Rectification Improves Adversarial Training [0.10241134756773226]
我々は、ロバストモデルの特徴を分析し、ロバストモデルがよりスムーズでよく校正された出力を生成する傾向があることを特定する。
より優れた誘導機構としてソフトラベルを生成するアニーリング自己蒸留法を提案する。
我々は、広範囲な実験とデータセット間の強力なパフォーマンスを通して、ADRの有効性を実証する。
論文 参考訳（メタデータ） (2023-05-20T06:35:43Z) - Improving the Adversarial Robustness of NLP Models by Information
Bottleneck [112.44039792098579]
非破壊機能は敵によって容易に操作でき、NLPモデルを騙すことができる。
本研究では,情報ボトルネック理論を用いて,タスク固有のロバストな特徴を捕捉し,非ロバストな特徴を除去する可能性を検討する。
情報ボトルネックに基づく手法を用いてトレーニングしたモデルでは,ロバストな精度で大幅な改善が達成できることを示す。
論文 参考訳（メタデータ） (2022-06-11T12:12:20Z) - Towards Accurate Knowledge Transfer via Target-awareness Representation
Disentanglement [56.40587594647692]
本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。
TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。
各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
論文 参考訳（メタデータ） (2020-10-16T17:45:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。