論文の概要: Structural Extensions of Basis Pursuit: Guarantees on Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2205.08955v1
• Date: Thu, 5 May 2022 09:12:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-22 11:38:41.565015
• Title: Structural Extensions of Basis Pursuit: Guarantees on Adversarial Robustness
• Title（参考訳）: 基礎追跡の構造拡張--敵対的ロバスト性に関する保証
• Authors: D\'avid Szeghy, Mahmoud Aslan, \'Aron F\'othi, Bal\'azs M\'esz\'aros, Zolt\'an \'Ad\'am Milacski, Andr\'as L\H{o}rincz
• Abstract要約: BP の安定性は以下の一般化に成り立つことを証明している。 それらの群の$ell$ノルムに基づく分類を導入し、それが正確であり、かなりのスピードアップをもたらすことを数値的に示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While deep neural networks are sensitive to adversarial noise, sparse coding using the Basis Pursuit (BP) method is robust against such attacks, including its multi-layer extensions. We prove that the stability theorem of BP holds upon the following generalizations: (i) the regularization procedure can be separated into disjoint groups with different weights, (ii) neurons or full layers may form groups, and (iii) the regularizer takes various generalized forms of the $\ell_1$ norm. This result provides the proof for the architectural generalizations of Cazenavette et al. (2021), including (iv) an approximation of the complete architecture as a shallow sparse coding network. Due to this approximation, we settled to experimenting with shallow networks and studied their robustness against the Iterative Fast Gradient Sign Method on a synthetic dataset and MNIST. We introduce classification based on the $\ell_2$ norms of the groups and show numerically that it can be accurate and offers considerable speedups. In this family, linear transformer shows the best performance. Based on the theoretical results and the numerical simulations, we highlight numerical matters that may improve performance further.
• Abstract（参考訳）: ディープニューラルネットワークは敵の雑音に敏感であるが、Basis Pursuit (BP)法によるスパースコーディングは多層拡張を含むこのような攻撃に対して堅牢である。 BPの安定性定理は以下の一般化に成り立つことを証明している。 (i) 正規化手順は、異なる重みを持つ解離群に分けることができる。 (ii)ニューロン又は全層がグループを形成することができる。 (iii) 正規化器は$\ell_1$ノルムの様々な一般化形式を取る。 この結果は、cazenavette et al. (2021)を含むアーキテクチャの一般化の証明を提供する。 (iv) 浅いスパース符号化ネットワークとしての完全なアーキテクチャの近似。 この近似により,浅層ネットワークを用いた実験を行い,合成データセットとmnistを用いた反復高速勾配符号法に対するロバスト性について検討した。 我々は,群の$\ell_2$ノルムに基づく分類を導入し,その精度と高速化を数値的に示す。 このファミリーでは、線形変圧器が最高の性能を示す。 理論的結果と数値シミュレーションに基づいて,さらなる性能向上が期待できる数値的問題を明らかにする。

関連論文リスト

• Learning Identifiable Structures Helps Avoid Bias in DNN-based Supervised Causal Learning [56.22841701016295]
  Supervised Causal Learning (SCL)はこの分野で新興パラダイムである。 既存のディープニューラルネットワーク(DNN)ベースの手法では、"Node-Edgeアプローチ"が一般的である。
  論文  参考訳（メタデータ） (2025-02-15T19:10:35Z)
• Low coordinate degree algorithms II: Categorical signals and generalized stochastic block models [2.4889993472438383]
  低座標次数関数が高次元データにおけるカテゴリー構造の存在をテストできるかどうかについて検討する。 これはLCDFの連続構造試験における性能について研究したこのシリーズの最初の論文を補完するものである。
  論文  参考訳（メタデータ） (2024-12-30T18:34:36Z)
• On the Power of Adaptive Weighted Aggregation in Heterogeneous Federated Learning and Beyond [37.894835756324454]
  フェデレーション平均化(FedAvg)は、フェデレーション学習(FL)において最も基本的なアルゴリズムである 最近の実証実験の結果、FedAvgは多くの実世界の異種タスクでうまく機能することが示された。 我々はFedAWAREと呼ばれるシンプルで効果的なFedAvg変種を提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:15:57Z)
• An Intermediate-level Attack Framework on The Basis of Linear Regression [89.85593878754571]
  本論文はECCVにおいて,いくつかのベースライン対向例の転送性を改善するため,中間レベルアタック(中間レベルアタック)を提案し,本研究を実質的に拡張するものである。 我々は,中間レベルの相違点(対角的特徴と良性的特徴)から,対角的例の分類的損失への直接的な線形写像の確立を提唱する。 1) 様々な線形回帰モデルがマッピングを確立するために考慮可能であること,2) 最終的に得られた中間レベル差の大きさが逆転率と線形に相関していること,3) ベースラインアタックを複数回実行することで,さらなる性能向上が達成できること,などが示される。
  論文  参考訳（メタデータ） (2022-03-21T03:54:53Z)
• The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
  本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。 隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。 スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
  論文  参考訳（メタデータ） (2022-02-13T07:12:02Z)
• Controlling the Complexity and Lipschitz Constant improves polynomial nets [55.121200972539114]
  多項式ネットの結合CP分解(CCP)モデルとNested Coupled CP分解(NCP)モデルに対する新しい複雑性境界を導出する。 本研究では、6つのデータセットで実験的に評価し、モデルが逆摂動に対して頑健であるとともに精度も向上することを示す。
  論文  参考訳（メタデータ） (2022-02-10T14:54:29Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• DessiLBI: Exploring Structural Sparsity of Deep Networks via Differential Inclusion Paths [45.947140164621096]
  逆スケール空間の差分包摂に基づく新しい手法を提案する。 DessiLBIが早期に「優勝チケット」を発表することを示す。
  論文  参考訳（メタデータ） (2020-07-04T04:40:16Z)
• Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
  圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。 本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
  論文  参考訳（メタデータ） (2020-01-14T22:26:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。