論文の概要: Deep quantum neural networks form Gaussian processes
- arxiv url: http://arxiv.org/abs/2305.09957v2
- Date: Thu, 9 Nov 2023 23:22:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-13 18:16:33.727390
- Title: Deep quantum neural networks form Gaussian processes
- Title(参考訳): 深い量子ニューラルネットワークがガウス過程を形成する
- Authors: Diego Garc\'ia-Mart\'in, Martin Larocca, M. Cerezo
- Abstract要約: 量子ニューラルネットワーク(QNN)の類似性を証明する。
ハールランダムユニタリあるいはディープQNNに基づくある種のモデルの出力は、大きなヒルベルト空間次元$d$の極限でガウス過程に収束することを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is well known that artificial neural networks initialized from independent
and identically distributed priors converge to Gaussian processes in the limit
of large number of neurons per hidden layer. In this work we prove an analogous
result for Quantum Neural Networks (QNNs). Namely, we show that the outputs of
certain models based on Haar random unitary or orthogonal deep QNNs converge to
Gaussian processes in the limit of large Hilbert space dimension $d$. The
derivation of this result is more nuanced than in the classical case due to the
role played by the input states, the measurement observable, and the fact that
the entries of unitary matrices are not independent. An important consequence
of our analysis is that the ensuing Gaussian processes cannot be used to
efficiently predict the outputs of the QNN via Bayesian statistics.
Furthermore, our theorems imply that the concentration of measure phenomenon in
Haar random QNNs is worse than previously thought, as we prove that expectation
values and gradients concentrate as $\mathcal{O}\left(\frac{1}{e^d
\sqrt{d}}\right)$. Finally, we discuss how our results improve our
understanding of concentration in $t$-designs.
- Abstract(参考訳): 独立かつ同一に分布する前駆体から初期化された人工ニューラルネットワークは、隠れ層当たりのニューロン数の制限でガウス過程に収束することが知られている。
本研究では,量子ニューラルネットワーク(QNN)の類似性を証明する。
すなわち、Haarランダムユニタリあるいは直交深度QNNに基づく特定のモデルの出力が、大きなヒルベルト空間次元$d$の極限でガウス過程に収束することを示す。
この結果の導出は、入力状態、観測可能な測定、ユニタリ行列のエントリが独立ではないという事実により、古典的な場合よりも微妙なものである。
我々の分析の重要な結果は、続くガウス過程はベイズ統計を通じてqnnの出力を効率的に予測することができないということである。
さらに、我々の定理は、ハールランダムqnnにおける測度現象の集中が以前考えられていたよりも悪く、期待値と勾配が$\mathcal{o}\left(\frac{1}{e^d \sqrt{d}}\right)$となることを証明している。
最後に、この結果が$t$-designsにおける濃度の理解をいかに改善するかについて議論する。
関連論文リスト
- Wide Neural Networks as Gaussian Processes: Lessons from Deep
Equilibrium Models [16.07760622196666]
本研究では,層間における共有重み行列を持つ無限深度ニューラルネットワークであるDeep equilibrium Model (DEQ)について検討する。
解析により,DEC層の幅が無限大に近づくにつれ,ガウス過程に収束することが明らかとなった。
注目すべきは、この収束は深さと幅の限界が交換されても成り立つことである。
論文 参考訳(メタデータ) (2023-10-16T19:00:43Z) - Deep Quantum Neural Networks are Gaussian Process [0.0]
1/d$展開を用いて閉形式関係における有限幅の影響を調べる枠組みを提案する。
量子ニューラルタンジェントカーネル(QNTK)を特徴とするGPとそのパラメータ空間の等価性について解明する。
論文 参考訳(メタデータ) (2023-05-22T03:07:43Z) - Bayesian inference with finitely wide neural networks [0.4568777157687961]
確率的ニューラルネットワークから出力の有限集合をモデル化するために,微分形式の非ガウス分布を提案する。
ベイズ回帰課題における非ガウス的後部分布を導出できる。
論文 参考訳(メタデータ) (2023-03-06T03:25:30Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳(メタデータ) (2022-03-27T15:22:19Z) - Toward Trainability of Deep Quantum Neural Networks [87.04438831673063]
ランダムな構造を持つ量子ニューラルネットワーク(QNN)は、回路深さと量子ビット数が増加するにつれて指数関数的に減少する勾配のため、トレーニング性に乏しい。
理論的保証のある深部QNNに対して、消滅する勾配問題に対する最初の実現可能な解決策を提供する。
論文 参考訳(メタデータ) (2021-12-30T10:27:08Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳(メタデータ) (2021-07-31T10:25:26Z) - Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。
この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
論文 参考訳(メタデータ) (2021-02-20T10:14:37Z) - Toward Trainability of Quantum Neural Networks [87.04438831673063]
量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。
QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。
木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
論文 参考訳(メタデータ) (2020-11-12T08:32:04Z) - On the learnability of quantum neural networks [132.1981461292324]
本稿では,量子ニューラルネットワーク(QNN)の学習可能性について考察する。
また,概念をQNNで効率的に学習することができれば,ゲートノイズがあってもQNNで効果的に学習できることを示す。
論文 参考訳(メタデータ) (2020-07-24T06:34:34Z) - Characteristics of Monte Carlo Dropout in Wide Neural Networks [16.639005039546745]
モンテカルロ(MC)ドロップアウトはニューラルネットワーク(NN)における不確実性推定のための最先端のアプローチの1つである
本研究では, 降雨時の広帯域NNの制限分布についてより厳密に検討し, 一定の重みと偏りの集合に対してガウス過程に収束することが証明された。
本研究では,(強く)相関したプレアクティベーションが,強相関重みを持つNNにおいて非ガウス的行動を引き起こすかを検討する。
論文 参考訳(メタデータ) (2020-07-10T15:14:43Z) - Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。
実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
論文 参考訳(メタデータ) (2020-06-18T13:57:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。