論文の概要: On the uncertainty principle of neural networks
- arxiv url: http://arxiv.org/abs/2205.01493v1
- Date: Tue, 3 May 2022 13:48:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-04 17:51:19.715077
- Title: On the uncertainty principle of neural networks
- Title（参考訳）: ニューラルネットワークの不確実性原理について
- Authors: Jun-Jie Zhang, Dong-Xiao Zhang, Jian-Nan Chen, Long-Gang Pang
- Abstract要約: 量子力学における不確実性原理に根底にあるメカニズムが深く関係している本質的な性質であることを示す。
ニューラルネットワークが正確かつ堅牢であるためには、$x$(入力)と$Delta$(正規化損失関数$J$の導関数である$x$)の2つの部分の特徴を解決する必要がある。
- 参考スコア（独自算出の注目度）: 4.014046905033123
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the successes in many fields, it is found that neural networks are
vulnerability and difficult to be both accurate and robust (robust means that
the prediction of the trained network stays unchanged for inputs with
non-random perturbations introduced by adversarial attacks). Various empirical
and analytic studies have suggested that there is more or less a trade-off
between the accuracy and robustness of neural networks. If the trade-off is
inherent, applications based on the neural networks are vulnerable with
untrustworthy predictions. It is then essential to ask whether the trade-off is
an inherent property or not. Here, we show that the accuracy-robustness
trade-off is an intrinsic property whose underlying mechanism is deeply related
to the uncertainty principle in quantum mechanics. We find that for a neural
network to be both accurate and robust, it needs to resolve the features of the
two conjugated parts $x$ (the inputs) and $\Delta$ (the derivatives of the
normalized loss function $J$ with respect to $x$), respectively. Analogous to
the position-momentum conjugation in quantum mechanics, we show that the inputs
and their conjugates cannot be resolved by a neural network simultaneously.
- Abstract（参考訳）: 多くの分野での成功にもかかわらず、ニューラルネットワークは脆弱性であり、正確かつ堅牢であることは困難である(robustは、訓練されたネットワークの予測が、敵の攻撃によって引き起こされる非ランダムな摂動を持つ入力に対して変化しないことを意味する)。
様々な経験的および分析的な研究は、ニューラルネットワークの正確性と堅牢性の間には、多かれ少なかれトレードオフがあることを示唆している。
トレードオフが本質的にある場合、ニューラルネットワークに基づくアプリケーションは信頼できない予測で脆弱である。
したがって、トレードオフが固有の性質であるかどうかを問うことが不可欠である。
本稿では,量子力学における不確実性原理に深く関連する機構を持つ本質的性質として,精度・ロバスト性トレードオフを示す。
ニューラルネットワークが正確かつ堅牢であるためには、共役部分である$x$(入力)と$\delta$(正規化損失関数$j$の導出は$x$)の2つの特徴を解決する必要がある。
量子力学における位置運動共役と同様に、入力とその共役はニューラルネットワークによって同時に解決できないことを示す。
関連論文リスト
- Verified Neural Compressed Sensing [58.98637799432153]
精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。
極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。
ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
論文 参考訳（メタデータ） (2024-05-07T12:20:12Z) - Quantum-Inspired Analysis of Neural Network Vulnerabilities: The Role of
Conjugate Variables in System Attacks [54.565579874913816]
ニューラルネットワークは、敵の攻撃として現れる小さな非ランダムな摂動に固有の脆弱性を示す。
この機構と量子物理学の不確実性原理の間に数学的に一致し、予想外の学際性に光を当てる。
論文 参考訳（メタデータ） (2024-02-16T02:11:27Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳（メタデータ） (2023-02-28T00:04:22Z) - Certified Invertibility in Neural Networks via Mixed-Integer Programming [16.64960701212292]
ニューラルネットワークは敵の攻撃に弱いことが知られている。
ネットワークの決定に影響を与えない大きな、意味のある摂動が存在するかもしれない。
ニューラルネットワーク間の変換における可逆性検証に,我々の知見がどのように役立つかについて議論する。
論文 参考訳（メタデータ） (2023-01-27T15:40:38Z) - Neural Bayesian Network Understudy [13.28673601999793]
ニューラルネットワークは条件付き確率を出力するように訓練でき、ベイズネットワークとほぼ同じ機能を提供する。
ニューラルネットワークに与えられた因果構造から推定される独立関係を符号化する2つのトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2022-11-15T15:56:51Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳（メタデータ） (2022-06-22T23:33:39Z) - Searching for the Essence of Adversarial Perturbations [73.96215665913797]
本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。
この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
論文 参考訳（メタデータ） (2022-05-30T18:04:57Z) - The mathematics of adversarial attacks in AI -- Why deep learning is
unstable despite the existence of stable neural networks [69.33657875725747]
固定アーキテクチャを用いた分類問題に対するニューラルネットワークのトレーニングに基づくトレーニング手順が,不正確あるいは不安定なニューラルネットワーク(正確であれば)を生み出すことを証明している。
鍵となるのは、安定かつ正確なニューラルネットワークは入力に依存する可変次元を持つ必要があり、特に、可変次元は安定性に必要な条件である。
我々の結果は、正確で安定したニューラルネットワークが存在するというパラドックスを示しているが、現代のアルゴリズムはそれらを計算していない。
論文 参考訳（メタデータ） (2021-09-13T16:19:25Z) - Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。
我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
論文 参考訳（メタデータ） (2021-02-23T20:59:30Z) - Bayesian Neural Networks [0.0]
ニューラルネットワークによる予測におけるエラーを原理的に得る方法を示し、これらのエラーを特徴付ける2つの方法を提案する。
さらに、これらの2つのメソッドが実際に実施される際に、重大な落とし穴を持つ方法についても説明します。
論文 参考訳（メタデータ） (2020-06-02T09:43:00Z) - Adversarial Robustness Guarantees for Random Deep Neural Networks [15.68430580530443]
逆の例は、正しく分類された入力に非常に近い誤った分類された入力です。
任意の$pge1$に対して、分類境界からの任意の入力の$ellp$距離は、入力の$ellp$ノルムの入力時間の次元の平方根の1つとしてスケールする。
この結果は、敵の例を理論的に理解する上での基本的な進歩であり、ネットワークアーキテクチャと敵の摂動に対する頑健性との関係を理論的に解明する道を開くものである。
論文 参考訳（メタデータ） (2020-04-13T13:07:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。