論文の概要: Beyond Pruning Criteria: The Dominant Role of Fine-Tuning and Adaptive Ratios in Neural Network Robustness

• arxiv url: http://arxiv.org/abs/2410.15176v1
• Date: Sat, 19 Oct 2024 18:35:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:17:37.883836
• Title: Beyond Pruning Criteria: The Dominant Role of Fine-Tuning and Adaptive Ratios in Neural Network Robustness
• Title（参考訳）: プルーニング基準を超えて:ニューラルネットワークロバストネスにおけるファインチューニングと適応比の役割
• Authors: Lincen Bai, Hedi Tabia, Raúl Santos-Rodríguez,
• Abstract要約: ディープニューラルネットワーク(DNN)は、画像認識や自然言語処理といったタスクに優れています。 従来のプルーニング手法は、微妙な摂動に耐えるネットワークの能力を損なう。 本稿では,プライドネットワークの性能決定要因として,従来の重み付け重み付けの重視に挑戦する。
• 参考スコア（独自算出の注目度）: 7.742297876120561
• License:
• Abstract: Deep neural networks (DNNs) excel in tasks like image recognition and natural language processing, but their increasing complexity complicates deployment in resource-constrained environments and increases susceptibility to adversarial attacks. While traditional pruning methods reduce model size, they often compromise the network's ability to withstand subtle perturbations. This paper challenges the conventional emphasis on weight importance scoring as the primary determinant of a pruned network's performance. Through extensive analysis, including experiments conducted on CIFAR, Tiny-ImageNet, and various network architectures, we demonstrate that effective fine-tuning plays a dominant role in enhancing both performance and adversarial robustness, often surpassing the impact of the chosen pruning criteria. To address this issue, we introduce Module Robust Sensitivity, a novel metric that adaptively adjusts the pruning ratio for each network layer based on its sensitivity to adversarial perturbations. By integrating this metric into the pruning process, we develop a stable algorithm that maintains accuracy and robustness simultaneously. Experimental results show that our approach enables the practical deployment of more robust and efficient neural networks.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、画像認識や自然言語処理といったタスクに優れていますが、その複雑さの増大は、リソース制約のある環境へのデプロイメントを複雑にし、敵の攻撃に対する感受性を高めます。 従来のプルーニング手法はモデルのサイズを減少させるが、微妙な摂動に耐えるネットワークの能力を損なうことが多い。 本稿では,プライドネットワークの性能決定要因として,従来の重み付け重み付けの重視に挑戦する。 CIFAR, Tiny-ImageNet, および各種ネットワークアーキテクチャで実施した実験を通じて, 実効的な微調整が, 性能と対角的堅牢性の向上に重要な役割を担い, しばしば選択された刈り取り基準の影響を上回ることが実証された。 この問題に対処するために,各ネットワーク層に対するプルーニング比を,対向的摂動に対する感度に基づいて適応的に調整する新しい指標であるModule Robust Sensitivityを導入する。 このメトリックをプルーニングプロセスに統合することにより、精度とロバスト性を同時に維持する安定なアルゴリズムを開発する。 実験結果から,より堅牢で効率的なニューラルネットワークの実用化が可能であることが示唆された。

関連論文リスト

• CCSRP: Robust Pruning of Spiking Neural Networks through Cooperative Coevolution [2.5388345537743056]
  スパイキングニューラルネットワーク(SNN)は、様々な動的視覚タスクにおいて有望であることを示しているが、現実的なデプロイメントの準備が整ったものは、リソース制限と安全クリティカルな設定に不可欠なコンパクト性と堅牢性を欠いていることが多い。 我々は,協調的共進化を基盤としたSNNの革新的な頑健な刈り取り法であるCSRPを提案する。
  論文  参考訳（メタデータ） (2024-07-18T04:28:16Z)
• Towards Improving Robustness Against Common Corruptions using Mixture of Class Specific Experts [10.27974860479791]
  本稿では,クラス特化エキスパートアーキテクチャの混合として知られる新しいパラダイムを紹介する。 提案したアーキテクチャは、一般的なニューラルネットワーク構造に関連する脆弱性を軽減することを目的としている。
  論文  参考訳（メタデータ） (2023-11-16T20:09:47Z)
• Revisiting the Trade-off between Accuracy and Robustness via Weight Distribution of Filters [17.316537476091867]
  敵対的攻撃はディープニューラルネットワーク(DNN)の潜在的な脅威であることが証明されている。 本稿では,Adversarial Weight-Varied Network (AW-Net) という,サンプルワイドな動的ネットワークアーキテクチャを提案する。 AW-Netは、敵ルータが生成する制御信号に基づいて、ネットワークの重みを適応的に調整する。
  論文  参考訳（メタデータ） (2023-06-06T06:09:11Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Pruning in the Face of Adversaries [0.0]
  ニューラルネットワークのプルーニングがL-0,L-2,L-infinity攻撃に対する対向的ロバスト性に及ぼす影響を評価する。 その結果,ニューラルネットワークのプルーニングと対向ロバスト性は相互に排他的ではないことが確認された。 分析を敵のシナリオに付加的な仮定を取り入れた状況にまで拡張し、状況によって異なる戦略が最適であることを示す。
  論文  参考訳（メタデータ） (2021-08-19T09:06:16Z)
• Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
  ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。 本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。 画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2021-06-18T16:34:23Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• Self-Supervised Dynamic Networks for Covariate Shift Robustness [9.542023122304098]
  Self-Supervised Dynamic Networks (SSDN) は、自己教師ネットワークがメインネットワークの重みを予測できる入力依存のメカニズムである。 本稿では,画像分類問題における提案手法の概念的および実証的利点について述べる。
  論文  参考訳（メタデータ） (2020-06-06T19:37:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。