論文の概要: On the uncertainty principle of neural networks
- arxiv url: http://arxiv.org/abs/2205.01493v1
- Date: Tue, 3 May 2022 13:48:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-04 17:51:19.715077
- Title: On the uncertainty principle of neural networks
- Title（参考訳）: ニューラルネットワークの不確実性原理について
- Authors: Jun-Jie Zhang, Dong-Xiao Zhang, Jian-Nan Chen, Long-Gang Pang
- Abstract要約: 量子力学における不確実性原理に根底にあるメカニズムが深く関係している本質的な性質であることを示す。
ニューラルネットワークが正確かつ堅牢であるためには、$x$(入力)と$Delta$(正規化損失関数$J$の導関数である$x$)の2つの部分の特徴を解決する必要がある。
- 参考スコア（独自算出の注目度）: 4.014046905033123
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the successes in many fields, it is found that neural networks are
vulnerability and difficult to be both accurate and robust (robust means that
the prediction of the trained network stays unchanged for inputs with
non-random perturbations introduced by adversarial attacks). Various empirical
and analytic studies have suggested that there is more or less a trade-off
between the accuracy and robustness of neural networks. If the trade-off is
inherent, applications based on the neural networks are vulnerable with
untrustworthy predictions. It is then essential to ask whether the trade-off is
an inherent property or not. Here, we show that the accuracy-robustness
trade-off is an intrinsic property whose underlying mechanism is deeply related
to the uncertainty principle in quantum mechanics. We find that for a neural
network to be both accurate and robust, it needs to resolve the features of the
two conjugated parts $x$ (the inputs) and $\Delta$ (the derivatives of the
normalized loss function $J$ with respect to $x$), respectively. Analogous to
the position-momentum conjugation in quantum mechanics, we show that the inputs
and their conjugates cannot be resolved by a neural network simultaneously.
- Abstract（参考訳）: 多くの分野での成功にもかかわらず、ニューラルネットワークは脆弱性であり、正確かつ堅牢であることは困難である(robustは、訓練されたネットワークの予測が、敵の攻撃によって引き起こされる非ランダムな摂動を持つ入力に対して変化しないことを意味する)。
様々な経験的および分析的な研究は、ニューラルネットワークの正確性と堅牢性の間には、多かれ少なかれトレードオフがあることを示唆している。
トレードオフが本質的にある場合、ニューラルネットワークに基づくアプリケーションは信頼できない予測で脆弱である。
したがって、トレードオフが固有の性質であるかどうかを問うことが不可欠である。
本稿では,量子力学における不確実性原理に深く関連する機構を持つ本質的性質として,精度・ロバスト性トレードオフを示す。
ニューラルネットワークが正確かつ堅牢であるためには、共役部分である$x$(入力)と$\delta$(正規化損失関数$j$の導出は$x$)の2つの特徴を解決する必要がある。
量子力学における位置運動共役と同様に、入力とその共役はニューラルネットワークによって同時に解決できないことを示す。
関連論文リスト
- Emergent weight morphologies in deep neural networks [0.0]
深層ニューラルネットワークのトレーニングは、トレーニングデータとは無関係に、創発的な重量形態を生じさせることを示す。
我々の研究は、ディープニューラルネットワークのトレーニングの出現を示し、ディープニューラルネットワークの達成可能なパフォーマンスに影響を与える。
論文 参考訳（メタデータ） (2025-01-09T19:48:51Z) - Quantum-Inspired Analysis of Neural Network Vulnerabilities: The Role of
Conjugate Variables in System Attacks [54.565579874913816]
ニューラルネットワークは、敵の攻撃として現れる小さな非ランダムな摂動に固有の脆弱性を示す。
この機構と量子物理学の不確実性原理の間に数学的に一致し、予想外の学際性に光を当てる。
論文 参考訳（メタデータ） (2024-02-16T02:11:27Z) - The Boundaries of Verifiable Accuracy, Robustness, and Generalisation in Deep Learning [71.14237199051276]
経験的リスクを最小限に抑えるため,古典的な分布に依存しないフレームワークとアルゴリズムを検討する。
理想的な安定かつ正確なニューラルネットワークの計算と検証が極めて難しいタスク群が存在することを示す。
論文 参考訳（メタデータ） (2023-09-13T16:33:27Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Neural Bayesian Network Understudy [13.28673601999793]
ニューラルネットワークは条件付き確率を出力するように訓練でき、ベイズネットワークとほぼ同じ機能を提供する。
ニューラルネットワークに与えられた因果構造から推定される独立関係を符号化する2つのトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2022-11-15T15:56:51Z) - What Can the Neural Tangent Kernel Tell Us About Adversarial Robustness? [0.0]
ニューラルネットワークとカーネルメソッドを接続する最近の理論の進歩によって得られた分析ツールを用いて、トレーニングされたニューラルネットワークの逆例について研究する。
NTKがいかにして、トレーニングフリーのやり方で敵の例を生成できるかを示し、遅延のやり方で、有限幅のニューラルネットを騙すために移行することを実証する。
論文 参考訳（メタデータ） (2022-10-11T16:11:48Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - Quasi-orthogonality and intrinsic dimensions as measures of learning and
generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。
本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文 参考訳（メタデータ） (2022-03-30T21:47:32Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - A neural network model of perception and reasoning [0.0]
生物学的に一貫した構成原理の単純なセットが神経ネットワークにこれらの能力を与えることを示す。
我々はこれらの原理を、最適化の代わりに概念構築に基づく新しい機械学習アルゴリズムで実装し、説明可能なニューロン活動で推論されるディープニューラルネットワークを設計する。
論文 参考訳（メタデータ） (2020-02-26T06:26:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。