論文の概要: Blind Adversarial Pruning: Balance Accuracy, Efficiency and Robustness

• arxiv url: http://arxiv.org/abs/2004.05913v1
• Date: Fri, 10 Apr 2020 02:27:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 20:28:12.422345
• Title: Blind Adversarial Pruning: Balance Accuracy, Efficiency and Robustness
• Title（参考訳）: Blind Adversarial Pruning: バランス精度、効率、ロバスト性
• Authors: Haidong Xie, Lixin Qian, Xueshuang Xiang, Naijin Liu
• Abstract要約: 本稿では, 段階的プルーニング過程において, 圧縮比が異なるプルーニングモデルのロバスト性について検討する。 次に、クリーンなデータと逆の例を段階的なプルーニングプロセスに混合する性能を検証し、逆プルーニング(英語版)と呼ぶ。 AERのバランスを改善するために,視覚的対位法(BAP)というアプローチを提案し,段階的対位法に視覚的対位法を取り入れた。
• 参考スコア（独自算出の注目度）: 3.039568795810294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the growth of interest in the attack and defense of deep neural networks, researchers are focusing more on the robustness of applying them to devices with limited memory. Thus, unlike adversarial training, which only considers the balance between accuracy and robustness, we come to a more meaningful and critical issue, i.e., the balance among accuracy, efficiency and robustness (AER). Recently, some related works focused on this issue, but with different observations, and the relations among AER remain unclear. This paper first investigates the robustness of pruned models with different compression ratios under the gradual pruning process and concludes that the robustness of the pruned model drastically varies with different pruning processes, especially in response to attacks with large strength. Second, we test the performance of mixing the clean data and adversarial examples (generated with a prescribed uniform budget) into the gradual pruning process, called adversarial pruning, and find the following: the pruned model's robustness exhibits high sensitivity to the budget. Furthermore, to better balance the AER, we propose an approach called blind adversarial pruning (BAP), which introduces the idea of blind adversarial training into the gradual pruning process. The main idea is to use a cutoff-scale strategy to adaptively estimate a nonuniform budget to modify the AEs used during pruning, thus ensuring that the strengths of AEs are dynamically located within a reasonable range at each pruning step and ultimately improving the overall AER of the pruned model. The experimental results obtained using BAP for pruning classification models based on several benchmarks demonstrate the competitive performance of this method: the robustness of the model pruned by BAP is more stable among varying pruning processes, and BAP exhibits better overall AER than adversarial pruning.
• Abstract（参考訳）: ディープニューラルネットワークの攻撃と防御に対する関心の高まりにより、研究者は、限られたメモリを持つデバイスに適用する堅牢性に注力している。 したがって、正確さと頑健さのバランスのみを考える敵意的なトレーニングとは異なり、より有意義で重要な問題、すなわち正確さ、効率性、堅牢性(aer)のバランスが生まれる。 近年,いくつかの関連研究がこの問題に焦点をあてているが,観察の相違により,AER間の関係は明らかでない。 本稿では, 段階的なプルーニング過程において, 圧縮比が異なるプルーニングモデルのロバスト性について検討し, 特に大きな強度の攻撃に対して, プルーニング過程のロバスト性は大きく異なることを結論する。 第2に, クリーンデータと逆算例(所定の均一予算で生成)を, 逆算法と呼ばれる段階的刈り込み工程に混合し, 以下に示すように, 刈り込みモデルの頑健さは, 予算に対する高い感度を示す。 さらに、AERのバランスを改善するために、段階的刈り込みプロセスに盲人対人訓練(BAP)を導入し、盲人対人訓練(BAP)というアプローチを提案する。 主な考え方は、カットオフスケール戦略を用いて、非一様予算を適応的に推定し、プルーニング時に使用されるAEを修正し、AEの強度が各プルーニング段階で合理的な範囲に動的に配置され、最終的にプルーニングモデル全体のAERを改善することである。 複数のベンチマークに基づく分類モデルにおいてbapを用いて得られた実験結果から,bapによるモデルのロバスト性は異なるpruningプロセスにおいてより安定であり,bapは逆pruningよりも全体として優れたaerを示した。

関連論文リスト

• PUMA: margin-based data pruning [51.12154122266251]
  モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。 我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-10T08:02:20Z)
• Towards Understanding the Robustness of Diffusion-Based Purification: A Stochastic Perspective [65.10019978876863]
  拡散性浄化(DBP)は、敵の攻撃に対する効果的な防御機構として出現している。 本稿では、DBPプロセスの本質が、その堅牢性の主要な要因であると主張している。
  論文  参考訳（メタデータ） (2024-04-22T16:10:38Z)
• Towards Understanding Dual BN In Hybrid Adversarial Training [79.92394747290905]
  モデルトレーニングにおけるアフィンパラメータのアンタングリングよりも,アンタングリング統計がより少ない役割を担っていることを示す。 本稿では,ハイブリッドAT改善のための実証的基礎と統一的なフレームワークとして機能する2タスク仮説を提案する。
  論文  参考訳（メタデータ） (2024-03-28T05:08:25Z)
• Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
  正統な文書に不可避な摂動を加えることで 敵の例を作れます この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。 本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
  論文  参考訳（メタデータ） (2023-12-16T05:38:39Z)
• PEARL: Preprocessing Enhanced Adversarial Robust Learning of Image Deraining for Semantic Segmentation [42.911517493220664]
  本稿では,異なる種類の分解因子を同時に扱うことにより,意味的セグメンテーションタスクの堅牢性を向上させるための最初の試みを示す。 本手法は,画像デラインモデルにセグメンテーションモデルのロバスト性を移すことにより,雨害と逆流の両面を効果的に処理する。 PEARLフレームワークのトレーニングに先立って,補助鏡攻撃(AMA)を設計し,肯定的な情報を導入する。
  論文  参考訳（メタデータ） (2023-05-25T04:44:17Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)
• Sparse Progressive Distillation: Resolving Overfitting under Pretrain-and-Finetune Paradigm [7.662952656290564]
  トランスフォーマーベースの言語モデルのフットプリント要求を減らすために、様々なプルーニング手法が提案されている。 オーバーフィッティングのリスクを減らすことが,プレトレイン・アンド・ファインチューンパラダイムの下での刈り込みの有効性を初めて示す。
  論文  参考訳（メタデータ） (2021-10-15T16:42:56Z)
• Blind Adversarial Training: Balance Accuracy and Robustness [9.224557511013584]
  逆行訓練(AT)は、クリーンデータと逆行例(AE)を混合することにより、ディープラーニングモデルの堅牢性を向上させることを目的としている。 本稿では, ブラインド・逆行訓練(BAT)と呼ばれる新しいATアプローチを提案し, 精度とロバストさのバランスを良くする。
  論文  参考訳（メタデータ） (2020-04-10T02:16:01Z)
• Adversarial Robustness on In- and Out-Distribution Improves Explainability [109.68938066821246]
  RATIOは、Adversarial Training on In- and Out-distriionを通じて、堅牢性のためのトレーニング手順である。 RATIOはCIFAR10で最先端の$l$-adrialを実現し、よりクリーンな精度を維持している。
  論文  参考訳（メタデータ） (2020-03-20T18:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。