論文の概要: On the uncertainty principle of neural networks

• arxiv url: http://arxiv.org/abs/2205.01493v4
• Date: Thu, 16 Jan 2025 11:16:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-19 17:26:51.552958
• Title: On the uncertainty principle of neural networks
• Title（参考訳）: ニューラルネットワークの不確実性原理について
• Authors: Jun-Jie Zhang, Dong-Xiao Zhang, Jian-Nan Chen, Long-Gang Pang, Deyu Meng,
• Abstract要約: ニューラルネットワークは、敵攻撃に対して高い精度と堅牢性を同時に達成する能力において、基本的な限界として現れる不確実性関係の対象であることが示される。 量子物理学の基盤である相補性原理がニューラルネットワークに適用され、共役特徴の同時学習におけるそれらの能力に根本的な制限が課されることが明らかとなった。
• 参考スコア（独自算出の注目度）: 36.098205818550554
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: In this study, we explore the inherent trade-off between accuracy and robustness in neural networks, drawing an analogy to the uncertainty principle in quantum mechanics. We propose that neural networks are subject to an uncertainty relation, which manifests as a fundamental limitation in their ability to simultaneously achieve high accuracy and robustness against adversarial attacks. Through mathematical proofs and empirical evidence, we demonstrate that this trade-off is a natural consequence of the sharp boundaries formed between different class concepts during training. Our findings reveal that the complementarity principle, a cornerstone of quantum physics, applies to neural networks, imposing fundamental limits on their capabilities in simultaneous learning of conjugate features. Meanwhile, our work suggests that achieving human-level intelligence through a single network architecture or massive datasets alone may be inherently limited. Our work provides new insights into the theoretical foundations of neural network vulnerability and opens up avenues for designing more robust neural network architectures.
• Abstract（参考訳）: 本研究では,ニューラルネットワークにおける精度とロバスト性の間の本質的にのトレードオフについて検討し,量子力学における不確実性原理を例証する。 ニューラルネットワークは、敵攻撃に対して高い精度と堅牢性を同時に達成する能力において、基本的な限界として現れる不確実性関係の対象であることが提案される。 数学的証明と経験的証拠を通して、このトレードオフは訓練中に異なるクラス概念の間に形成される鋭い境界の自然な結果であることを示す。 量子物理学の基礎となる相補性原理がニューラルネットワークに適用され、共役特徴の同時学習におけるそれらの能力に根本的な制限が課されることが明らかとなった。 一方、我々の研究は、単一のネットワークアーキテクチャや巨大なデータセットだけで人間レベルのインテリジェンスを達成することは、本質的に制限される可能性があることを示唆している。 私たちの研究は、ニューラルネットワークの脆弱性の理論的基盤に関する新たな洞察を提供し、より堅牢なニューラルネットワークアーキテクチャを設計するための道を開く。

関連論文リスト

• Emergent weight morphologies in deep neural networks [0.0]
  深層ニューラルネットワークのトレーニングは、トレーニングデータとは無関係に、創発的な重量形態を生じさせることを示す。 我々の研究は、ディープニューラルネットワークのトレーニングの出現を示し、ディープニューラルネットワークの達成可能なパフォーマンスに影響を与える。
  論文  参考訳（メタデータ） (2025-01-09T19:48:51Z)
• Verified Neural Compressed Sensing [58.98637799432153]
  精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。 極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。 ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
  論文  参考訳（メタデータ） (2024-05-07T12:20:12Z)
• Quantum-Inspired Analysis of Neural Network Vulnerabilities: The Role of Conjugate Variables in System Attacks [54.565579874913816]
  ニューラルネットワークは、敵の攻撃として現れる小さな非ランダムな摂動に固有の脆弱性を示す。 この機構と量子物理学の不確実性原理の間に数学的に一致し、予想外の学際性に光を当てる。
  論文  参考訳（メタデータ） (2024-02-16T02:11:27Z)
• The Boundaries of Verifiable Accuracy, Robustness, and Generalisation in Deep Learning [71.14237199051276]
  経験的リスクを最小限に抑えるため,古典的な分布に依存しないフレームワークとアルゴリズムを検討する。 理想的な安定かつ正確なニューラルネットワークの計算と検証が極めて難しいタスク群が存在することを示す。
  論文  参考訳（メタデータ） (2023-09-13T16:33:27Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Certified Invertibility in Neural Networks via Mixed-Integer Programming [16.64960701212292]
  ニューラルネットワークは敵の攻撃に弱いことが知られている。 ネットワークの決定に影響を与えない大きな、意味のある摂動が存在するかもしれない。 ニューラルネットワーク間の変換における可逆性検証に,我々の知見がどのように役立つかについて議論する。
  論文  参考訳（メタデータ） (2023-01-27T15:40:38Z)
• Neural Bayesian Network Understudy [13.28673601999793]
  ニューラルネットワークは条件付き確率を出力するように訓練でき、ベイズネットワークとほぼ同じ機能を提供する。 ニューラルネットワークに与えられた因果構造から推定される独立関係を符号化する2つのトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2022-11-15T15:56:51Z)
• What Can the Neural Tangent Kernel Tell Us About Adversarial Robustness? [0.0]
  ニューラルネットワークとカーネルメソッドを接続する最近の理論の進歩によって得られた分析ツールを用いて、トレーニングされたニューラルネットワークの逆例について研究する。 NTKがいかにして、トレーニングフリーのやり方で敵の例を生成できるかを示し、遅延のやり方で、有限幅のニューラルネットを騙すために移行することを実証する。
  論文  参考訳（メタデータ） (2022-10-11T16:11:48Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Searching for the Essence of Adversarial Perturbations [73.96215665913797]
  本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。 この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
  論文  参考訳（メタデータ） (2022-05-30T18:04:57Z)
• Quasi-orthogonality and intrinsic dimensions as measures of learning and generalisation [55.80128181112308]
  ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。 本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
  論文  参考訳（メタデータ） (2022-03-30T21:47:32Z)
• The mathematics of adversarial attacks in AI -- Why deep learning is unstable despite the existence of stable neural networks [69.33657875725747]
  固定アーキテクチャを用いた分類問題に対するニューラルネットワークのトレーニングに基づくトレーニング手順が,不正確あるいは不安定なニューラルネットワーク(正確であれば)を生み出すことを証明している。 鍵となるのは、安定かつ正確なニューラルネットワークは入力に依存する可変次元を持つ必要があり、特に、可変次元は安定性に必要な条件である。 我々の結果は、正確で安定したニューラルネットワークが存在するというパラドックスを示しているが、現代のアルゴリズムはそれらを計算していない。
  論文  参考訳（メタデータ） (2021-09-13T16:19:25Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Bayesian Neural Networks [0.0]
  ニューラルネットワークによる予測におけるエラーを原理的に得る方法を示し、これらのエラーを特徴付ける2つの方法を提案する。 さらに、これらの2つのメソッドが実際に実施される際に、重大な落とし穴を持つ方法についても説明します。
  論文  参考訳（メタデータ） (2020-06-02T09:43:00Z)
• Adversarial Robustness Guarantees for Random Deep Neural Networks [15.68430580530443]
  逆の例は、正しく分類された入力に非常に近い誤った分類された入力です。 任意の$pge1$に対して、分類境界からの任意の入力の$ellp$距離は、入力の$ellp$ノルムの入力時間の次元の平方根の1つとしてスケールする。 この結果は、敵の例を理論的に理解する上での基本的な進歩であり、ネットワークアーキテクチャと敵の摂動に対する頑健性との関係を理論的に解明する道を開くものである。
  論文  参考訳（メタデータ） (2020-04-13T13:07:26Z)
• A neural network model of perception and reasoning [0.0]
  生物学的に一貫した構成原理の単純なセットが神経ネットワークにこれらの能力を与えることを示す。 我々はこれらの原理を、最適化の代わりに概念構築に基づく新しい機械学習アルゴリズムで実装し、説明可能なニューロン活動で推論されるディープニューラルネットワークを設計する。
  論文  参考訳（メタデータ） (2020-02-26T06:26:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。