論文の概要: Achieving Adversarial Robustness via Sparsity

• arxiv url: http://arxiv.org/abs/2009.05423v1
• Date: Fri, 11 Sep 2020 13:15:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 20:57:41.584491
• Title: Achieving Adversarial Robustness via Sparsity
• Title（参考訳）: 疎通による対人ロバスト性獲得
• Authors: Shufan Wang, Ningyi Liao, Liyao Xiang, Nanyang Ye, Quanshi Zhang
• Abstract要約: ネットワーク重みの空間性はモデルロバスト性と密接に関連していることを示す。 本稿では,逆重み継承という新たな逆トレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 33.11581532788394
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Network pruning has been known to produce compact models without much accuracy degradation. However, how the pruning process affects a network's robustness and the working mechanism behind remain unresolved. In this work, we theoretically prove that the sparsity of network weights is closely associated with model robustness. Through experiments on a variety of adversarial pruning methods, we find that weights sparsity will not hurt but improve robustness, where both weights inheritance from the lottery ticket and adversarial training improve model robustness in network pruning. Based on these findings, we propose a novel adversarial training method called inverse weights inheritance, which imposes sparse weights distribution on a large network by inheriting weights from a small network, thereby improving the robustness of the large network.
• Abstract（参考訳）: ネットワークプルーニングは、精度を損なうことなくコンパクトなモデルを作り出すことで知られている。 しかし、刈り取り処理がネットワークの堅牢性にどのように影響するかは未解決のままである。 本研究では,ネットワーク重みのスパース性がモデルロバスト性と密接に関連していることを理論的に証明する。 様々な対向的刈り取り方法の実験を通じて、重みのスパース性は損なわれず、ロバスト性が向上し、抽選券からの重みの継承と対向的トレーニングの両方がネットワーク刈り取りにおけるモデルのロバスト性を改善することが判明した。 そこで本研究では,小ネットワークから重みを継承することにより,大ネットワークに疎重み分布を課し,大ネットワークの頑健性を向上させる逆重み継承法を提案する。

関連論文リスト

• Robustness to distribution shifts of compressed networks for edge devices [6.606005367624169]
  領域シフトと対向摂動の2種類のデータ分散シフトにおいて,圧縮ネットワークの堅牢性を検討することが重要である。 本研究では,圧縮モデルが元のネットワークよりも分散シフトに対して頑健でないことを明らかにする。 知識蒸留によって得られるコンパクトネットワークは、刈り取られたネットワークよりも、分散シフトに対してより堅牢である。
  論文  参考訳（メタデータ） (2024-01-22T15:00:32Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Revisiting the Trade-off between Accuracy and Robustness via Weight Distribution of Filters [17.316537476091867]
  敵対的攻撃はディープニューラルネットワーク(DNN)の潜在的な脅威であることが証明されている。 本稿では,Adversarial Weight-Varied Network (AW-Net) という,サンプルワイドな動的ネットワークアーキテクチャを提案する。 AW-Netは、敵ルータが生成する制御信号に基づいて、ネットワークの重みを適応的に調整する。
  論文  参考訳（メタデータ） (2023-06-06T06:09:11Z)
• Robust low-rank training via approximate orthonormal constraints [2.519906683279153]
  低ランク行列多様体上でネットワークの重みを維持する頑健な低ランク学習アルゴリズムを導入する。 その結果, モデル精度を損なうことなく, トレーニングコストと推論コストを低減し, 良好な条件設定を実現し, 対向ロバスト性を向上する。
  論文  参考訳（メタデータ） (2023-06-02T12:22:35Z)
• Understanding the effect of sparsity on neural networks robustness [32.15505923976003]
  本稿では,静的空間がトレーニングネットワークの強靭性に及ぼす影響について検討する。 ネットワークの容量を一定に保ちながら、ネットワークの幅と深さを増大させ、ネットワークの幅を一定に保ち、初期の高密度バージョンよりも良くすることを示す。
  論文  参考訳（メタデータ） (2022-06-22T08:51:40Z)
• High-Robustness, Low-Transferability Fingerprinting of Neural Networks [78.2527498858308]
  本稿では,ディープニューラルネットワークを効果的にフィンガープリントするための特性例を提案する。 モデルプルーニングに対するベースモデルへの高いロバスト性、無関係モデルへの低透過性などが特徴である。
  論文  参考訳（メタデータ） (2021-05-14T21:48:23Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Do Wider Neural Networks Really Help Adversarial Robustness? [92.8311752980399]
  モデルロバスト性は自然精度と摂動安定性のトレードオフと密接に関係していることを示す。 本稿では,ワイドモデル上でラムダ$を適応的に拡大するWidth Adjusted Regularization(WAR)手法を提案する。
  論文  参考訳（メタデータ） (2020-10-03T04:46:17Z)
• Rethinking Clustering for Robustness [56.14672993686335]
  ClusTRは、ロバストモデルを学ぶためのクラスタリングベースの、対向のないトレーニングフレームワークである。 textitClusTRは、強いPGD攻撃の下で、敵に訓練されたネットワークを最大4%上回ります。
  論文  参考訳（メタデータ） (2020-06-13T16:55:51Z)
• Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
  我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。 実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。 以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
  論文  参考訳（メタデータ） (2020-04-30T19:12:50Z)
• Defense Through Diverse Directions [24.129270094757587]
  我々は,強い対向性を実現するための新しいベイズニューラルネットワーク手法を開発した。 ネットワークが入力を均等に分散するように促すことによって、ネットワークは局所的かつ脆い機能の影響を受けにくくなっていることを実証する。 いくつかのベンチマークデータセットに経験的ロバスト性を示す。
  論文  参考訳（メタデータ） (2020-03-24T01:22:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。