論文の概要: Network Moments: Extensions and Sparse-Smooth Attacks

• arxiv url: http://arxiv.org/abs/2006.11776v1
• Date: Sun, 21 Jun 2020 11:36:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 11:56:53.830768
• Title: Network Moments: Extensions and Sparse-Smooth Attacks
• Title（参考訳）: Network Moments: 拡張とスムーズな攻撃
• Authors: Modar Alfadly, Adel Bibi, Emilio Botero, Salman Alsubaihi and Bernard Ghanem
• Abstract要約: ガウス入力を受ける小片方向線形(PL)ネットワーク(Affine,ReLU,Affine)の第1モーメントと第2モーメントの正確な解析式を導出する。 本研究では,新しい分散式を効率的に近似し,より厳密な分散推定を行うことを示す。
• 参考スコア（独自算出の注目度）: 59.24080620535988
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The impressive performance of deep neural networks (DNNs) has immensely strengthened the line of research that aims at theoretically analyzing their effectiveness. This has incited research on the reaction of DNNs to noisy input, namely developing adversarial input attacks and strategies that lead to robust DNNs to these attacks. To that end, in this paper, we derive exact analytic expressions for the first and second moments (mean and variance) of a small piecewise linear (PL) network (Affine, ReLU, Affine) subject to Gaussian input. In particular, we generalize the second-moment expression of Bibi et al. to arbitrary input Gaussian distributions, dropping the zero-mean assumption. We show that the new variance expression can be efficiently approximated leading to much tighter variance estimates as compared to the preliminary results of Bibi et al. Moreover, we experimentally show that these expressions are tight under simple linearizations of deeper PL-DNNs, where we investigate the effect of the linearization sensitivity on the accuracy of the moment estimates. Lastly, we show that the derived expressions can be used to construct sparse and smooth Gaussian adversarial attacks (targeted and non-targeted) that tend to lead to perceptually feasible input attacks.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)の印象的な性能は、理論的にその効果を分析することを目的とした研究のラインを大幅に強化した。 これはDNNのノイズ入力に対する反応、すなわち敵の入力攻撃とこれらの攻撃に堅牢なDNNに繋がる戦略の研究を刺激している。 そこで本稿では,ガウス入力を受ける小片方向線形(PL)ネットワーク(Affine,ReLU,Affine)の第1モーメントと第2モーメント(平均と分散)の正確な解析式を導出する。 特に、Bibi et al. の第二モーメント表現を任意の入力ガウス分布に一般化し、ゼロ平均仮定を省略する。 新たな分散式を効率的に近似することができ,bibi等の予備結果に比べ,より厳密な分散推定が可能となった。 さらに,これらの表現はより深いPL-DNNの単純な線形化の下で厳密であることが実験的に示され,線形化感度がモーメント推定の精度に及ぼす影響について検討した。 最後に, この表現は, 知覚的に可能な入力攻撃につながる傾向のある, スパースかつスムースなガウス逆攻撃(標的と非標的)を構築できることを示す。

関連論文リスト

• The Surprising Harmfulness of Benign Overfitting for Adversarial Robustness [13.120373493503772]
  根拠的真理そのものが敵の例に対して堅牢であるとしても、標準のアウト・オブ・サンプルのリスク目標の観点から見れば、明らかに過適合なモデルは良性である、という驚くべき結果が証明されます。 我々の発見は、実際に観察されたパズリング現象に関する理論的洞察を与え、真の標的関数(例えば、人間)は副次的攻撃に対して堅牢であり、一方、当初過適合のニューラルネットワークは、堅牢でないモデルに導かれる。
  論文  参考訳（メタデータ） (2024-01-19T15:40:46Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Not So Robust After All: Evaluating the Robustness of Deep Neural Networks to Unseen Adversarial Attacks [5.024667090792856]
  ディープニューラルネットワーク(DNN)は、分類、認識、予測など、さまざまなアプリケーションで注目を集めている。 従来のDNNの基本的属性は、入力データの修正に対する脆弱性である。 本研究の目的は、敵攻撃に対する現代の防御機構の有効性と一般化に挑戦することである。
  論文  参考訳（メタデータ） (2023-08-12T05:21:34Z)
• On Consistency in Graph Neural Network Interpretation [34.25952902469481]
  インスタンスレベルのGNN説明は、ターゲットのGNNが予測に頼っているノードやエッジなどの重要な入力要素を発見することを目的としている。 様々なアルゴリズムが提案されているが、その多くは最小の部分グラフを探索することによってこのタスクを定式化している。 埋め込みの整列による簡易かつ効果的な対策を提案する。
  論文  参考訳（メタデータ） (2022-05-27T02:58:07Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Discovering Invariant Rationales for Graph Neural Networks [104.61908788639052]
  グラフニューラルネットワーク(GNN)の固有の解釈可能性とは、入力グラフの特徴の小さなサブセットを見つけることである。 本稿では,本質的に解釈可能なGNNを構築するために,不変理性(DIR)を発見するための新しい戦略を提案する。
  論文  参考訳（メタデータ） (2022-01-30T16:43:40Z)
• Efficient and Robust Classification for Sparse Attacks [34.48667992227529]
  我々は、画像認識、自然言語処理、マルウェア検出の領域において効果的な攻撃として示されてきた$ell$-normで束縛された摂動を考える。 我々は,「トランケーション」と「アドリアル・トレーニング」を組み合わせた新しい防衛手法を提案する。 得られた洞察に触発され、これらのコンポーネントをニューラルネットワーク分類器に拡張する。
  論文  参考訳（メタデータ） (2022-01-23T21:18:17Z)
• Predicting Deep Neural Network Generalization with Perturbation Response Curves [58.8755389068888]
  トレーニングネットワークの一般化能力を評価するための新しいフレームワークを提案する。 具体的には,一般化ギャップを正確に予測するための2つの新しい尺度を提案する。 PGDL(Predicting Generalization in Deep Learning)のNeurIPS 2020コンペティションにおけるタスクの大部分について、現在の最先端の指標よりも優れた予測スコアを得る。
  論文  参考訳（メタデータ） (2021-06-09T01:37:36Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。