論文の概要: Fast Approximate Spectral Normalization for Robust Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2103.13815v1
• Date: Mon, 22 Mar 2021 15:35:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-27 04:48:18.380531
• Title: Fast Approximate Spectral Normalization for Robust Deep Neural Networks
• Title（参考訳）: ロバスト深層ニューラルネットワークの高速近似スペクトル正規化
• Authors: Zhixin Pan and Prabhat Mishra
• Abstract要約: 本稿ではフーリエ変換と層分離に基づくスペクトル正規化の近似アルゴリズムを提案する。 我々のフレームワークは、最先端のスペクトル正規化と比較して、時間効率(60%)とモデル頑健(平均61%)の両方を著しく改善することができる。
• 参考スコア（独自算出の注目度）: 3.5027291542274357
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Deep neural networks (DNNs) play an important role in machine learning due to its outstanding performance compared to other alternatives. However, DNNs are not suitable for safety-critical applications since DNNs can be easily fooled by well-crafted adversarial examples. One promising strategy to counter adversarial attacks is to utilize spectral normalization, which ensures that the trained model has low sensitivity towards the disturbance of input samples. Unfortunately, this strategy requires exact computation of spectral norm, which is computation intensive and impractical for large-scale networks. In this paper, we introduce an approximate algorithm for spectral normalization based on Fourier transform and layer separation. The primary contribution of our work is to effectively combine the sparsity of weight matrix and decomposability of convolution layers. Extensive experimental evaluation demonstrates that our framework is able to significantly improve both time efficiency (up to 60\%) and model robustness (61\% on average) compared with the state-of-the-art spectral normalization.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、他の選択肢と比較して優れたパフォーマンスのため、機械学習において重要な役割を果たす。 しかし、DNNは、よく製作された敵の例によって容易に騙されるので、安全クリティカルなアプリケーションには適さない。 敵対的攻撃に対抗する有望な戦略の一つは、スペクトル正規化(spectral normalization)を利用することで、トレーニングされたモデルが入力サンプルの乱れに対する感度が低いことを保証する。 残念ながら、この戦略にはスペクトルノルムの正確な計算が必要であり、これは大規模ネットワークでは計算集約的で実用的ではない。 本稿では,フーリエ変換と層分離に基づくスペクトル正規化の近似アルゴリズムを提案する。 我々の研究の主な貢献は、重み行列の空間性と畳み込み層の分解性を効果的に組み合わせることである。 広範な実験評価により,現在のスペクトル正規化と比較して,時間効率 (最大60\%) とモデルロバスト性 (平均61\%) の両方を著しく改善できることを示した。

関連論文リスト

• YOSO: You-Only-Sample-Once via Compressed Sensing for Graph Neural Network Training [9.02251811867533]
  YOSO(You-Only-Sample-Once)は、予測精度を維持しながら効率的なトレーニングを実現するアルゴリズムである。 YOSOは、正規直交基底計算のような従来の圧縮センシング(CS)法で高価な計算を避けるだけでなく、高い確率精度の保持も保証している。
  論文  参考訳（メタデータ） (2024-11-08T16:47:51Z)
• Comparing Spectral Bias and Robustness For Two-Layer Neural Networks: SGD vs Adaptive Random Fourier Features [0.0]
  本稿では,2層ニューラルネットワークのトレーニングアルゴリズムの選択による2つの重要な違いを明らかにする実験結果について述べる。 適応的ランダム特徴量アルゴリズム(ARFF)は、近勾配降下(SGD)と比較してスペクトルバイアスをゼロにすることができる。
  論文  参考訳（メタデータ） (2024-02-01T04:35:37Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Optimal Transport-inspired Deep Learning Framework for Slow-Decaying Problems: Exploiting Sinkhorn Loss and Wasserstein Kernel [0.0]
  還元次数モデル(ROM)は、高次元システムに対処するために科学計算で広く使われている。 最適輸送理論とニューラルネットワークに基づく手法を統合した新しいROMフレームワークを提案する。 我々のフレームワークは、精度と計算効率の点で従来のROM手法より優れています。
  論文  参考訳（メタデータ） (2023-08-26T10:24:43Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• Depthwise Separable Convolutions Allow for Fast and Memory-Efficient Spectral Normalization [1.1470070927586016]
  奥行き分離可能な畳み込みのスペクトル正規化の非常に単純な方法を提案する。 MobileNetV2 のような標準アーキテクチャを用いた画像分類タスクに対する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-02-12T12:55:42Z)
• Learning Sparse Filters in Deep Convolutional Neural Networks with a l1/l2 Pseudo-Norm [5.3791844634527495]
  ディープニューラルネットワーク(DNN)は、多くのタスクで効率的であることが証明されているが、高いメモリと計算コストが伴う。 近年の研究では、それらの構造は性能を損なうことなくよりコンパクトにすることができることが示されている。 フィルタ係数に定義された比 l1/l2 の擬ノルムに基づいて, 疎度誘導正規化項を提案する。
  論文  参考訳（メタデータ） (2020-07-20T11:56:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。