論文の概要: Theory of overparametrization in quantum neural networks
- arxiv url: http://arxiv.org/abs/2109.11676v1
- Date: Thu, 23 Sep 2021 22:39:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-27 14:20:28.295323
- Title: Theory of overparametrization in quantum neural networks
- Title（参考訳）: 量子ニューラルネットワークにおけるオーバーパラメトリゼーションの理論
- Authors: Martin Larocca, Nathan Ju, Diego Garc\'ia-Mart\'in, Patrick J. Coles,
M. Cerezo
- Abstract要約: 周期構造を持つ量子ニューラルネットワーク(QNN)における過パラメトリゼーション現象を厳密に解析する。
この結果から、QNN の生成元から得られるリー代数の次元は、$M_c$ の上界であることが分かる。
次に、過パラメータ化の概念をQNNキャパシティに結びつけることにより、QNNが過パラメータ化されると、そのキャパシティはその最大値を達成する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The prospect of achieving quantum advantage with Quantum Neural Networks
(QNNs) is exciting. Understanding how QNN properties (e.g., the number of
parameters $M$) affect the loss landscape is crucial to the design of scalable
QNN architectures. Here, we rigorously analyze the overparametrization
phenomenon in QNNs with periodic structure. We define overparametrization as
the regime where the QNN has more than a critical number of parameters $M_c$
that allows it to explore all relevant directions in state space. Our main
results show that the dimension of the Lie algebra obtained from the generators
of the QNN is an upper bound for $M_c$, and for the maximal rank that the
quantum Fisher information and Hessian matrices can reach. Underparametrized
QNNs have spurious local minima in the loss landscape that start disappearing
when $M\geq M_c$. Thus, the overparametrization onset corresponds to a
computational phase transition where the QNN trainability is greatly improved
by a more favorable landscape. We then connect the notion of
overparametrization to the QNN capacity, so that when a QNN is
overparametrized, its capacity achieves its maximum possible value. We run
numerical simulations for eigensolver, compilation, and autoencoding
applications to showcase the overparametrization computational phase
transition. We note that our results also apply to variational quantum
algorithms and quantum optimal control.
- Abstract（参考訳）: 量子ニューラルネットワーク(Quantum Neural Networks, QNN)による量子アドバンテージの実現の見通しはエキサイティングだ。
QNNのプロパティ(例えば$M$のパラメータの数など)が損失環境に与える影響を理解することは、スケーラブルなQNNアーキテクチャの設計に不可欠である。
本稿では,周期構造を有するqnnの過パラメータ化現象を厳密に解析する。
オーバーパラメトリゼーション(overparametrization)とは、QNNが、状態空間内のすべての関連する方向を探索できるパラメータの臨界数$M_c$以上のレギュレーションとして定義する。
本結果は,QNN の生成元から得られるリー代数の次元が$M_c$ の上限であり,量子フィッシャー情報やヘッセン行列が到達できる最大ランクに対して有意であることを示す。
過度にパラメータ化されたQNNは、損失ランドスケープにおいて、M\geq M_c$のときに消え始める、急激なローカルミニマを持つ。
したがって、オーバーパラメトリゼーションのオンセットは、QNNトレーサビリティがより好ましい景観によって大幅に改善される計算相転移に対応する。
次に、過パラメータ化の概念をQNNキャパシティに結びつけることにより、QNNが過パラメータ化されると、そのキャパシティはその最大値を達成する。
固有解法, コンパイル法, 自動符号化法について数値シミュレーションを行い, 過パラメータ化計算相転移を例示する。
この結果は、変動量子アルゴリズムや量子最適制御にも適用される。
関連論文リスト
- Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients [51.82488018573326]
重み付きニューラルネットワークのトレーニングに適した,新しいレイヤワイドオプティマイザであるQP-SBGDを提案する。
BNNは、深層学習モデルの計算要求とエネルギー消費を最小限の精度で削減する。
提案アルゴリズムは階層的に実装されており,リソース制限量子ハードウェア上での大規模ネットワークのトレーニングに適している。
論文 参考訳（メタデータ） (2023-10-23T17:32:38Z) - Variational Quantum Neural Networks (VQNNS) in Image Classification [0.0]
本稿では,量子最適化アルゴリズムを用いて量子ニューラルネットワーク(QNN)のトレーニングを行う方法について検討する。
本稿では、変分量子ニューラルネットワーク(VQNN)と呼ばれる入力層として、変分パラメータ化回路を組み込んだQNN構造を作成する。
VQNNは、MNIST桁認識(複雑でない)とクラック画像分類データセットで実験され、QNNよりも少ない時間で、適切なトレーニング精度で計算を収束させる。
論文 参考訳（メタデータ） (2023-03-10T11:24:32Z) - Theoretical Guarantees for Permutation-Equivariant Quantum Neural
Networks [0.0]
等変量子ニューラルネットワーク(QNN)の構築方法を示す。
我々は、不毛の高原に苦しめられず、すぐに過度なパラメータ化に達し、少量のデータからよく一般化されることを証明した。
我々の研究は、同変QNNに対する最初の理論的保証を提供し、GQMLの極端なパワーとポテンシャルを示している。
論文 参考訳（メタデータ） (2022-10-18T16:35:44Z) - Symmetric Pruning in Quantum Neural Networks [111.438286016951]
量子ニューラルネットワーク(QNN)は、現代の量子マシンの力を発揮する。
ハンドクラフト対称アンサーゼを持つQNNは、一般に非対称アンサーゼを持つものよりも訓練性が高い。
本稿では,QNNのグローバル最適収束を定量化するために,実効量子ニューラルネットワークカーネル(EQNTK)を提案する。
論文 参考訳（メタデータ） (2022-08-30T08:17:55Z) - GHN-Q: Parameter Prediction for Unseen Quantized Convolutional
Architectures via Graph Hypernetworks [80.29667394618625]
我々は,未知の量子化CNNアーキテクチャのパラメータの予測にグラフハイパーネットを用いることを初めて検討した。
我々は、CNNの探索空間の縮小に着目し、GHN-Qが実際に8ビットの量子化されたCNNの量子化-ロバストパラメータを予測できることを見出した。
論文 参考訳（メタデータ） (2022-08-26T08:00:02Z) - Toward Trainability of Deep Quantum Neural Networks [87.04438831673063]
ランダムな構造を持つ量子ニューラルネットワーク(QNN)は、回路深さと量子ビット数が増加するにつれて指数関数的に減少する勾配のため、トレーニング性に乏しい。
理論的保証のある深部QNNに対して、消滅する勾配問題に対する最初の実現可能な解決策を提供する。
論文 参考訳（メタデータ） (2021-12-30T10:27:08Z) - Toward Trainability of Quantum Neural Networks [87.04438831673063]
量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。
QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。
木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
論文 参考訳（メタデータ） (2020-11-12T08:32:04Z) - Absence of Barren Plateaus in Quantum Convolutional Neural Networks [0.0]
量子畳み込みニューラルネットワーク(QCNN)が提案されている。
我々はQCNNアーキテクチャのパラメータの勾配スケーリングを厳格に分析する。
論文 参考訳（メタデータ） (2020-11-05T16:46:13Z) - On the learnability of quantum neural networks [132.1981461292324]
本稿では,量子ニューラルネットワーク(QNN)の学習可能性について考察する。
また,概念をQNNで効率的に学習することができれば,ゲートノイズがあってもQNNで効果的に学習できることを示す。
論文 参考訳（メタデータ） (2020-07-24T06:34:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。