論文の概要: Samples on Thin Ice: Re-Evaluating Adversarial Pruning of Neural Networks

• arxiv url: http://arxiv.org/abs/2310.08073v1
• Date: Thu, 12 Oct 2023 06:50:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 12:42:19.008365
• Title: Samples on Thin Ice: Re-Evaluating Adversarial Pruning of Neural Networks
• Title（参考訳）: 薄氷のサンプル:ニューラルネットワークの逆解析の再評価
• Authors: Giorgio Piras, Maura Pintor, Ambra Demontis, Battista Biggio
• Abstract要約: 近年の研究では、逆算法はスパースネットワークを生成できるが、逆算例に対する堅牢性は維持できると主張している。 本研究は,まず,3つの最先端逆算法を再評価し,その頑健さが実際に過大評価されたことを示す。 我々は,この直感が今後の作業において,より効果的な対向的プルーニング手法の設計につながる可能性について論じる。
• 参考スコア（独自算出の注目度）: 15.55615069378845
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural network pruning has shown to be an effective technique for reducing the network size, trading desirable properties like generalization and robustness to adversarial attacks for higher sparsity. Recent work has claimed that adversarial pruning methods can produce sparse networks while also preserving robustness to adversarial examples. In this work, we first re-evaluate three state-of-the-art adversarial pruning methods, showing that their robustness was indeed overestimated. We then compare pruned and dense versions of the same models, discovering that samples on thin ice, i.e., closer to the unpruned model's decision boundary, are typically misclassified after pruning. We conclude by discussing how this intuition may lead to designing more effective adversarial pruning methods in future work.
• Abstract（参考訳）: ニューラルネットワークのプルーニングは、ネットワークサイズを減らし、一般化や高頻度の敵攻撃に対する堅牢性といった望ましい特性を交換する効果的な手法であることが示されている。 近年の研究では、逆算法はスパースネットワークを生成できるが、逆算例に対する堅牢性は維持できると主張している。 本研究は,まず,3つの最先端逆算法を再評価し,その頑健さを過大評価したことを示す。 次に、同じモデルのプルーニング版と密度の高いバージョンを比較し、薄氷上のサンプル、すなわち未切断モデルの決定境界に近いものは、プルーニング後に誤って分類される。 我々は,この直感が今後の作業において,より効果的な対向的プルーニング手法の設計につながる可能性について論じる。

関連論文リスト

• Over-parameterization and Adversarial Robustness in Neural Networks: An Overview and Empirical Analysis [25.993502776271022]
  大きなパラメータ空間を持つことは、敵の例に対するニューラルネットワークの脆弱性の主な疑念の1つと考えられている。 従来の研究は、検討されたモデルによっては、敵の例を生成するアルゴリズムが適切に機能しないことを示した。
  論文  参考訳（メタデータ） (2024-06-14T14:47:06Z)
• Mitigating Feature Gap for Adversarial Robustness by Feature Disentanglement [61.048842737581865]
  逆方向の微調整法は, 逆方向の訓練方法で, 自然に事前訓練されたモデルを微調整することにより, 逆方向の強靭性を高めることを目的としている。 特徴ギャップの原因となる潜伏する特徴を明示的にモデル化し,取り除く,アンタングルメントに基づくアプローチを提案する。 3つのベンチマークデータセットに対する実証的な評価は、我々のアプローチが既存の逆方向の微調整法や逆方向のトレーニングベースラインを超えていることを示している。
  論文  参考訳（メタデータ） (2024-01-26T08:38:57Z)
• Masking Adversarial Damage: Finding Adversarial Saliency for Robust and Sparse Network [33.18197518590706]
  敵対的な例は、ディープニューラルネットワークの弱い信頼性と潜在的なセキュリティ問題を引き起こす。 本稿では, 対向的損失の2次情報を利用した新しい対向的プルーニング手法, Masking Adversarial damage (MAD)を提案する。 我々は,MADが敵の強靭性を損なうことなく敵の訓練網を効果的に突破し,従来の敵のプルーニング手法よりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2022-04-06T11:28:06Z)
• The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training [111.15069968583042]
  ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。 我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。 以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-02-05T21:19:41Z)
• Adversarial Attack via Dual-Stage Network Erosion [7.28871533402894]
  ディープニューラルネットワークは敵の例に弱いため、微妙な摂動を加えることでディープモデルを騙すことができる。 本稿では, 既存モデルに2段階の特徴レベル摂動を適用し, 多様なモデルの集合を暗黙的に生成する手法を提案する。 我々は、非残留ネットワークと残留ネットワークの両方で包括的な実験を行い、最先端の計算手法と同様の計算コストで、より伝達可能な逆の例を得る。
  論文  参考訳（メタデータ） (2022-01-01T02:38:09Z)
• Pruning in the Face of Adversaries [0.0]
  ニューラルネットワークのプルーニングがL-0,L-2,L-infinity攻撃に対する対向的ロバスト性に及ぼす影響を評価する。 その結果,ニューラルネットワークのプルーニングと対向ロバスト性は相互に排他的ではないことが確認された。 分析を敵のシナリオに付加的な仮定を取り入れた状況にまで拡張し、状況によって異なる戦略が最適であることを示す。
  論文  参考訳（メタデータ） (2021-08-19T09:06:16Z)
• Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
  ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。 本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。 画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2021-06-18T16:34:23Z)
• Emerging Paradigms of Neural Network Pruning [82.9322109208353]
  この問題に対する後処理ソリューションとしてPruningが採用され、パフォーマンスを損なわないニューラルネットワークの不要なパラメータの除去を目指している。 最近の研究では、パフォーマンスと密接なそれとを一致させるように訓練できるランダムなスパースネットワークを発見することによって、この信念に挑戦している。 この調査は、従来のアルゴリズムとうまく適合できるように、一般的な刈り取りフレームワークを提案し、ギャップを埋めることを目指しています。
  論文  参考訳（メタデータ） (2021-03-11T05:01:52Z)
• Improving Adversarial Robustness by Enforcing Local and Global Compactness [19.8818435601131]
  敵の訓練は、広範囲の攻撃に一貫して抵抗する最も成功した方法である。 本稿では,局所的・言語的コンパクト性とクラスタリングの仮定を強制する分散分散化ネットワークを提案する。 実験の結果,提案するコンポーネントによる対人訓練の強化は,ネットワークの堅牢性をさらに向上させる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-07-10T00:43:06Z)
• Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
  我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。 実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。 以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
  論文  参考訳（メタデータ） (2020-04-30T19:12:50Z)
• Towards Achieving Adversarial Robustness by Enforcing Feature Consistency Across Bit Planes [51.31334977346847]
  我々は、高ビット平面の情報に基づいて粗い印象を形成するためにネットワークを訓練し、低ビット平面を用いて予測を洗練させる。 異なる量子化画像間で学習した表現に一貫性を付与することにより、ネットワークの対角的ロバスト性が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-04-01T09:31:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。