論文の概要: Adversarial Examples in Random Neural Networks with General Activations
- arxiv url: http://arxiv.org/abs/2203.17209v1
- Date: Thu, 31 Mar 2022 17:36:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-01 16:48:23.802975
- Title: Adversarial Examples in Random Neural Networks with General Activations
- Title（参考訳）: 一般活性化を持つランダムニューラルネットワークの逆例
- Authors: Andrea Montanari and Yuchen Wu
- Abstract要約: 逆の例は、サブ指数幅とReLUまたはスムーズなアクティベーションを持つ2層ネットワークでユビキタスである。
逆の例 $boldsymbol x'$ が勾配の方向に沿って高い確率で見つかることを示す。
- 参考スコア（独自算出の注目度）: 14.12513604585194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A substantial body of empirical work documents the lack of robustness in deep
learning models to adversarial examples. Recent theoretical work proved that
adversarial examples are ubiquitous in two-layers networks with sub-exponential
width and ReLU or smooth activations, and multi-layer ReLU networks with
sub-exponential width. We present a result of the same type, with no
restriction on width and for general locally Lipschitz continuous activations.
More precisely, given a neural network $f(\,\cdot\,;{\boldsymbol \theta})$
with random weights ${\boldsymbol \theta}$, and feature vector ${\boldsymbol
x}$, we show that an adversarial example ${\boldsymbol x}'$ can be found with
high probability along the direction of the gradient $\nabla_{{\boldsymbol
x}}f({\boldsymbol x};{\boldsymbol \theta})$. Our proof is based on a Gaussian
conditioning technique. Instead of proving that $f$ is approximately linear in
a neighborhood of ${\boldsymbol x}$, we characterize the joint distribution of
$f({\boldsymbol x};{\boldsymbol \theta})$ and $f({\boldsymbol x}';{\boldsymbol
\theta})$ for ${\boldsymbol x}' = {\boldsymbol x}-s({\boldsymbol
x})\nabla_{{\boldsymbol x}}f({\boldsymbol x};{\boldsymbol \theta})$.
- Abstract（参考訳）: 実証研究のかなりの部分は、敵対的な例に対するディープラーニングモデルの堅牢性の欠如を文書化している。
近年の理論的研究により、サブ指数幅の2層ネットワークとReLUまたはスムーズなアクティベーション、およびサブ指数幅の多層ReLUネットワークにおいて、逆例がユビキタスであることが証明された。
我々は、同じタイプの結果を示し、幅制限なく、一般の局所リプシッツ連続活性化について述べる。
より正確には、ランダムウェイトを持つニューラルネットワーク $f(\,\cdot\,;{\boldsymbol \theta})$ と、特徴ベクトル ${\boldsymbol x}$ が与えられたとき、逆の例 ${\boldsymbol x}'$ が勾配 $\nabla_{{\boldsymbol x}}f({\boldsymbol x};{\boldsymbol \theta})$ の方向に沿って高い確率で見つかることを示す。
我々の証明はガウス条件付け法に基づいている。
我々は、$f$ が ${\boldsymbol x}$ の近傍でほぼ線形であることを証明する代わりに、$f({\boldsymbol x};{\boldsymbol \theta})$ と $f({\boldsymbol x}';{\boldsymbol \theta})$ for ${\boldsymbol x}' = {\boldsymbol x}-s({\boldsymbol x})\nabla_{{\boldsymbol x}}f({\boldsymbol x};{\boldsymbol \theta})$ の合同分布を特徴付ける。
関連論文リスト
- Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - Solving Quadratic Systems with Full-Rank Matrices Using Sparse or Generative Priors [33.0212223058894]
二次系$y_i=boldsymbol xtopboldsymbol A_iboldsymbol x, i=1,ldots,m$とフルランク行列$boldsymbol A_i$からの信号を回復する問題は、未割り当て距離幾何学やサブ波長イメージングなどの応用で頻繁に発生する。
本稿では、$mll n$ が $boldsymbol x$ の事前知識を取り入れた高次元の場合について述べる。
論文 参考訳（メタデータ） (2023-09-16T16:00:07Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - High-dimensional Asymptotics of Feature Learning: How One Gradient Step
Improves the Representation [89.21686761957383]
2層ネットワークにおける第1層パラメータ $boldsymbolW$ の勾配降下ステップについて検討した。
我々の結果は、一つのステップでもランダムな特徴に対してかなりの優位性が得られることを示した。
論文 参考訳（メタデータ） (2022-05-03T12:09:59Z) - Approximate Function Evaluation via Multi-Armed Bandits [51.146684847667125]
既知の滑らかな関数 $f$ の値を未知の点 $boldsymbolmu in mathbbRn$ で推定する問題について検討する。
我々は、各座標の重要性に応じてサンプルを学習するインスタンス適応アルゴリズムを設計し、少なくとも1-delta$の確率で$epsilon$の正確な推定値である$f(boldsymbolmu)$を返す。
論文 参考訳（メタデータ） (2022-03-18T18:50:52Z) - Universality of empirical risk minimization [12.764655736673749]
例えば、$boldsymbol x_i inmathbbRp$ が特徴ベクトルで $y in mathbbR$ がラベルであるような i.d. サンプルからの教師付き学習を考える。
我々は$mathsfkによってパラメータ化される関数のクラスに対する経験的リスク普遍性について研究する。
論文 参考訳（メタデータ） (2022-02-17T18:53:45Z) - Geometric model for the electron spin correlation [0.0]
双分割一重項スピン状態のスピン相関の公式である$C_Q(boldsymbola,boldsymbolb)$は、確率分布$rho(phi)$に基づいて導出される。
スピン相関を再現する幾何学的モデルは、我々のアプローチを検証するのに役立つ。
論文 参考訳（メタデータ） (2021-08-17T20:36:12Z) - Self-training Converts Weak Learners to Strong Learners in Mixture
Models [86.7137362125503]
擬似ラベルの $boldsymbolbeta_mathrmpl$ が,最大$C_mathrmerr$ の分類誤差を達成可能であることを示す。
さらに、ロジスティックな損失に対して勾配降下を実行することで、ラベル付き例のみを使用して、分類誤差が$C_mathrmerr$で擬ラベルの $boldsymbolbeta_mathrmpl$ が得られることを示す。
論文 参考訳（メタデータ） (2021-06-25T17:59:16Z) - Learning a Lie Algebra from Unlabeled Data Pairs [7.329382191592538]
深層畳み込みネットワーク (convnets) は、非絡み合った表現を学習する顕著な能力を示している。
本稿では,空間$mathbbRn$の非線形変換を発見する機械学習手法を提案する。
鍵となる考え方は、すべてのターゲット $boldsymboly_i$ を $boldsymbolwidetildey_i = boldsymbolphi(t_i) boldsymbolx_i$ という形の行列ベクトル積で近似することである。
論文 参考訳（メタデータ） (2020-09-19T23:23:52Z) - Optimal Combination of Linear and Spectral Estimators for Generalized
Linear Models [59.015960528781115]
最適に $hatboldsymbol xrm L$ と $hatboldsymbol xrm s$ を組み合わせる方法を示す。
我々は,$(boldsymbol x, hatboldsymbol xrm L, hatboldsymbol xrm s)$の制限分布を確立するために,Adroximate Message Passing (AMP)アルゴリズムの設計と解析を行う。
論文 参考訳（メタデータ） (2020-08-07T18:20:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。