論文の概要: Adversarial Fine-tuning of Compressed Neural Networks for Joint Improvement of Robustness and Efficiency
- arxiv url: http://arxiv.org/abs/2403.09441v1
- Date: Thu, 14 Mar 2024 14:34:25 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-15 20:07:47.003259
- Title: Adversarial Fine-tuning of Compressed Neural Networks for Joint Improvement of Robustness and Efficiency
- Title（参考訳）: 圧縮ニューラルネットワークの対向微調整によるロバスト性と効率性の向上
- Authors: Hallgrimur Thorsteinsson, Valdemar J Henriksen, Tong Chen, Raghavendra Selvan,
- Abstract要約: アドリラルトレーニングは、より堅牢なモデルをもたらすことができる緩和戦略として提示されている。
本稿では,2つの異なるモデル圧縮手法(構造的重み打ち法と量子化法)が対向ロバスト性に及ぼす影響について検討する。
本研究では, 圧縮モデルの逆方向微調整により, 対向訓練モデルに匹敵する強靭性性能が得られることを示す。
- 参考スコア（独自算出の注目度）: 3.3490724063380215
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As deep learning (DL) models are increasingly being integrated into our everyday lives, ensuring their safety by making them robust against adversarial attacks has become increasingly critical. DL models have been found to be susceptible to adversarial attacks which can be achieved by introducing small, targeted perturbations to disrupt the input data. Adversarial training has been presented as a mitigation strategy which can result in more robust models. This adversarial robustness comes with additional computational costs required to design adversarial attacks during training. The two objectives -- adversarial robustness and computational efficiency -- then appear to be in conflict of each other. In this work, we explore the effects of two different model compression methods -- structured weight pruning and quantization -- on adversarial robustness. We specifically explore the effects of fine-tuning on compressed models, and present the trade-off between standard fine-tuning and adversarial fine-tuning. Our results show that compression does not inherently lead to loss in model robustness and adversarial fine-tuning of a compressed model can yield large improvement to the robustness performance of models. We present experiments on two benchmark datasets showing that adversarial fine-tuning of compressed models can achieve robustness performance comparable to adversarially trained models, while also improving computational efficiency.
- Abstract（参考訳）: ディープラーニング(DL)モデルが私たちの日常生活にますます統合されるにつれて、敵の攻撃に対して堅牢にすることで安全性を確保することがますます重要になっている。
DLモデルは、入力データを妨害するために小さな標的摂動を導入することで達成できる敵攻撃の影響を受けやすいことが判明した。
敵の訓練は、より堅牢なモデルをもたらすことができる緩和戦略として提示されている。
この敵の堅牢性は、訓練中に敵の攻撃を設計するために必要な追加の計算コストが伴う。
2つの目的 -- 敵の堅牢性と計算効率 -- は、互いに対立しているように見える。
本研究では,2つの異なるモデル圧縮手法 – 構造的ウェイトプルーニングと量子化 – が対向的ロバスト性に及ぼす影響について検討する。
具体的には, 圧縮モデルに対する微調整の効果について検討し, 標準微調整と逆微調整のトレードオフについて述べる。
この結果から, 圧縮がモデルロバスト性を損なうのではなく, 圧縮モデルに対して逆方向の微調整を行うことで, モデルロバスト性性能に大きな改善がもたらされることが示唆された。
本稿では,2つのベンチマークデータセットを用いて,圧縮モデルの逆調整により,逆学習モデルに匹敵するロバスト性性能が得られ,計算効率も向上することを示す。
関連論文リスト
- The Risk of Federated Learning to Skew Fine-Tuning Features and
Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。
3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。
提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文 参考訳（メタデータ） (2024-01-25T09:18:51Z) - JAB: Joint Adversarial Prompting and Belief Augmentation [81.39548637776365]
我々は,ブラックボックスターゲットモデルの強靭性を,敵対的プロンプトと信念の増大を通じて探索し,改善する共同枠組みを導入する。
このフレームワークは、自動的なレッド・チームリング手法を用いてターゲットモデルを探索し、信念強化器を用いて目標モデルの命令を生成し、敵のプローブに対するロバスト性を向上させる。
論文 参考訳（メタデータ） (2023-11-16T00:35:54Z) - On the Trade-offs between Adversarial Robustness and Actionable Explanations [32.05150063480917]
本研究は, 対向的に頑健なモデルが動作可能な説明に与える影響を初めて研究する試みである。
提案手法は,最先端のアルゴリズムが生成する手法のコストと妥当性の差に関する理論的境界を導出する。
その結果, 逆向き頑健なモデルでは, コストが大幅に増加し, 結果の妥当性が低下することが示唆された。
論文 参考訳（メタデータ） (2023-09-28T13:59:50Z) - Benchmarking Adversarial Robustness of Compressed Deep Learning Models [15.737988622271219]
本研究は, 基本モデルの逆入力が刈り取ったバージョンに与える影響を理解することを目的とする。
以上の結果から, 汎用性, 圧縮性, 高速な推論時間は保たれるが, 対向ロバスト性はベースモデルに匹敵することがわかった。
論文 参考訳（メタデータ） (2023-08-16T06:06:56Z) - Robust Trajectory Prediction against Adversarial Attacks [84.10405251683713]
ディープニューラルネットワーク(DNN)を用いた軌道予測は、自律運転システムにおいて不可欠な要素である。
これらの手法は敵の攻撃に対して脆弱であり、衝突などの重大な結果をもたらす。
本研究では,敵対的攻撃に対する軌道予測モデルを保護するための2つの重要な要素を同定する。
論文 参考訳（メタデータ） (2022-07-29T22:35:05Z) - Can collaborative learning be private, robust and scalable? [6.667150890634173]
列車および推論時攻撃におけるモデルに対する頑健性を改善するために, 差分プライバシー, モデル圧縮, および対人訓練を組み合わせることの有効性を検討する。
本研究は, モデル性能, モデルサイズを著しく低減し, 高い性能劣化を伴わずに, 経験的対角ロバスト性の向上を実現するための, 様々な手法の実践的概要を提供する。
論文 参考訳（メタデータ） (2022-05-05T13:51:44Z) - Adversarial Fine-tune with Dynamically Regulated Adversary [27.034257769448914]
健康診断や自律手術ロボットなどの現実世界の多くの応用において、このような極めて悪意のある攻撃に対するモデルロバスト性よりも、標準的な性能が重視されている。
本研究は, モデル標準性能に対する対向サンプルの負の効果を阻害する, 単純かつ効果的な移動学習に基づく対向学習戦略を提案する。
さらに,トレーニングの複雑さを伴わずに,敵の強靭性を向上する訓練フレンドリーな敵攻撃アルゴリズムを導入する。
論文 参考訳（メタデータ） (2022-04-28T00:07:15Z) - Self-Ensemble Adversarial Training for Improved Robustness [14.244311026737666]
敵の訓練は、あらゆる種類の防衛方法において、様々な敵の攻撃に対する最強の戦略である。
最近の研究は主に新しい損失関数や正規化器の開発に重点を置いており、重み空間の特異な最適点を見つけようとしている。
我々は,歴史モデルの重みを平均化し,頑健な分類器を生成するための,単純だが強力なemphSelf-Ensemble Adversarial Training (SEAT)法を考案した。
論文 参考訳（メタデータ） (2022-03-18T01:12:18Z) - What do Compressed Large Language Models Forget? Robustness Challenges
in Model Compression [68.82486784654817]
本稿では,知識蒸留とプルーニングを含む2つの一般的なモデル圧縮手法について検討する。
本研究では, 圧縮モデルが, 対向テストセット上のPLMモデルよりもはるかに頑健であることを示す。
サンプル不確実性に基づくモデル圧縮の正規化戦略を開発する。
論文 参考訳（メタデータ） (2021-10-16T00:20:04Z) - Improving White-box Robustness of Pre-processing Defenses via Joint Adversarial Training [106.34722726264522]
対向騒音の干渉を軽減するため,様々な対向防御技術が提案されている。
プレプロセス法は、ロバストネス劣化効果に悩まされることがある。
この負の効果の潜在的な原因は、敵の訓練例が静的であり、前処理モデルとは独立していることである。
本稿では,JATP(Joint Adversarial Training Based Pre-processing)防衛法を提案する。
論文 参考訳（メタデータ） (2021-06-10T01:45:32Z) - Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。
実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。
以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
論文 参考訳（メタデータ） (2020-04-30T19:12:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。