論文の概要: Deep quantum neural networks form Gaussian processes
- arxiv url: http://arxiv.org/abs/2305.09957v2
- Date: Thu, 9 Nov 2023 23:22:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-13 18:16:33.727390
- Title: Deep quantum neural networks form Gaussian processes
- Title（参考訳）: 深い量子ニューラルネットワークがガウス過程を形成する
- Authors: Diego Garc\'ia-Mart\'in, Martin Larocca, M. Cerezo
- Abstract要約: 量子ニューラルネットワーク(QNN)の類似性を証明する。
ハールランダムユニタリあるいはディープQNNに基づくある種のモデルの出力は、大きなヒルベルト空間次元$d$の極限でガウス過程に収束することを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is well known that artificial neural networks initialized from independent
and identically distributed priors converge to Gaussian processes in the limit
of large number of neurons per hidden layer. In this work we prove an analogous
result for Quantum Neural Networks (QNNs). Namely, we show that the outputs of
certain models based on Haar random unitary or orthogonal deep QNNs converge to
Gaussian processes in the limit of large Hilbert space dimension $d$. The
derivation of this result is more nuanced than in the classical case due to the
role played by the input states, the measurement observable, and the fact that
the entries of unitary matrices are not independent. An important consequence
of our analysis is that the ensuing Gaussian processes cannot be used to
efficiently predict the outputs of the QNN via Bayesian statistics.
Furthermore, our theorems imply that the concentration of measure phenomenon in
Haar random QNNs is worse than previously thought, as we prove that expectation
values and gradients concentrate as $\mathcal{O}\left(\frac{1}{e^d
\sqrt{d}}\right)$. Finally, we discuss how our results improve our
understanding of concentration in $t$-designs.
- Abstract（参考訳）: 独立かつ同一に分布する前駆体から初期化された人工ニューラルネットワークは、隠れ層当たりのニューロン数の制限でガウス過程に収束することが知られている。
本研究では,量子ニューラルネットワーク(QNN)の類似性を証明する。
すなわち、Haarランダムユニタリあるいは直交深度QNNに基づく特定のモデルの出力が、大きなヒルベルト空間次元$d$の極限でガウス過程に収束することを示す。
この結果の導出は、入力状態、観測可能な測定、ユニタリ行列のエントリが独立ではないという事実により、古典的な場合よりも微妙なものである。
我々の分析の重要な結果は、続くガウス過程はベイズ統計を通じてqnnの出力を効率的に予測することができないということである。
さらに、我々の定理は、ハールランダムqnnにおける測度現象の集中が以前考えられていたよりも悪く、期待値と勾配が$\mathcal{o}\left(\frac{1}{e^d \sqrt{d}}\right)$となることを証明している。
最後に、この結果が$t$-designsにおける濃度の理解をいかに改善するかについて議論する。
関連論文リスト
- Finite Neural Networks as Mixtures of Gaussian Processes: From Provable Error Bounds to Prior Selection [11.729744197698718]
有限幅と深さのニューラルネットワークを近似するアルゴリズム的枠組みを提案する。
ニューラルネットワークの各層の出力分布をガウス過程の混合として反復的に近似する。
我々の結果は、ニューラルネットワークの予測を理解するための重要なステップである。
論文 参考訳（メタデータ） (2024-07-26T12:45:53Z) - Confidence Regulation Neurons in Language Models [91.90337752432075]
本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。
エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。
ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
論文 参考訳（メタデータ） (2024-06-24T01:31:03Z) - Random ReLU Neural Networks as Non-Gaussian Processes [20.607307985674428]
線形単位活性化関数が整列されたランダムニューラルネットワークは、ガウス過程を適切に定義していないことを示す。
副産物として、これらのネットワークは、衝動ホワイトノイズによって駆動される微分方程式の解であることを示す。
論文 参考訳（メタデータ） (2024-05-16T16:28:11Z) - Deep Quantum Neural Networks are Gaussian Process [0.0]
1/d$展開を用いて閉形式関係における有限幅の影響を調べる枠組みを提案する。
量子ニューラルタンジェントカーネル(QNTK)を特徴とするGPとそのパラメータ空間の等価性について解明する。
論文 参考訳（メタデータ） (2023-05-22T03:07:43Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳（メタデータ） (2022-03-27T15:22:19Z) - Toward Trainability of Deep Quantum Neural Networks [87.04438831673063]
ランダムな構造を持つ量子ニューラルネットワーク(QNN)は、回路深さと量子ビット数が増加するにつれて指数関数的に減少する勾配のため、トレーニング性に乏しい。
理論的保証のある深部QNNに対して、消滅する勾配問題に対する最初の実現可能な解決策を提供する。
論文 参考訳（メタデータ） (2021-12-30T10:27:08Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。
この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
論文 参考訳（メタデータ） (2021-02-20T10:14:37Z) - Toward Trainability of Quantum Neural Networks [87.04438831673063]
量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。
QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。
木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
論文 参考訳（メタデータ） (2020-11-12T08:32:04Z) - Characteristics of Monte Carlo Dropout in Wide Neural Networks [16.639005039546745]
モンテカルロ(MC)ドロップアウトはニューラルネットワーク(NN)における不確実性推定のための最先端のアプローチの1つである
本研究では, 降雨時の広帯域NNの制限分布についてより厳密に検討し, 一定の重みと偏りの集合に対してガウス過程に収束することが証明された。
本研究では,(強く)相関したプレアクティベーションが,強相関重みを持つNNにおいて非ガウス的行動を引き起こすかを検討する。
論文 参考訳（メタデータ） (2020-07-10T15:14:43Z) - Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。
実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
論文 参考訳（メタデータ） (2020-06-18T13:57:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。