論文の概要: Analyzing Convergence in Quantum Neural Networks: Deviations from Neural Tangent Kernels

• arxiv url: http://arxiv.org/abs/2303.14844v1
• Date: Sun, 26 Mar 2023 22:58:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 17:25:44.924247
• Title: Analyzing Convergence in Quantum Neural Networks: Deviations from Neural Tangent Kernels
• Title（参考訳）: 量子ニューラルネットワークにおける収束解析:ニューラルタンジェントカーネルからの逸脱
• Authors: Xuchen You, Shouvanik Chakrabarti, Boyang Chen, Xiaodi Wu
• Abstract要約: 量子ニューラルネットワーク(QNN)は、近未来のノイズ中間スケール量子(NISQ)コンピュータで効率的に実装可能なパラメータ化マッピングである。 既存の実証的および理論的研究にもかかわらず、QNNトレーニングの収束は完全には理解されていない。
• 参考スコア（独自算出の注目度）: 20.53302002578558
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A quantum neural network (QNN) is a parameterized mapping efficiently implementable on near-term Noisy Intermediate-Scale Quantum (NISQ) computers. It can be used for supervised learning when combined with classical gradient-based optimizers. Despite the existing empirical and theoretical investigations, the convergence of QNN training is not fully understood. Inspired by the success of the neural tangent kernels (NTKs) in probing into the dynamics of classical neural networks, a recent line of works proposes to study over-parameterized QNNs by examining a quantum version of tangent kernels. In this work, we study the dynamics of QNNs and show that contrary to popular belief it is qualitatively different from that of any kernel regression: due to the unitarity of quantum operations, there is a non-negligible deviation from the tangent kernel regression derived at the random initialization. As a result of the deviation, we prove the at-most sublinear convergence for QNNs with Pauli measurements, which is beyond the explanatory power of any kernel regression dynamics. We then present the actual dynamics of QNNs in the limit of over-parameterization. The new dynamics capture the change of convergence rate during training and implies that the range of measurements is crucial to the fast QNN convergence.
• Abstract（参考訳）: 量子ニューラルネットワーク(QNN)は、近未来のノイズ中間スケール量子(NISQ)コンピュータで効率的に実装できるパラメータ化マッピングである。 古典的な勾配に基づく最適化と組み合わせることで教師あり学習に利用できる。 既存の実証的および理論的研究にもかかわらず、QNNトレーニングの収束は完全には理解されていない。 古典的ニューラルネットワークの力学を探索する上でのニューラルタンジェントカーネル(NTK)の成功に触発された最近の研究は、タンジェントカーネルの量子バージョンを調べることによって、過度にパラメータ化されたQNNを研究することを提案する。 本研究では,量子演算のユニタリティにより,ランダム初期化で導出される接核回帰から得られる非無視可能な偏差が存在することを,qnnの動力学を考察し,一般の考え方とは定性的に異なることを示した。 偏差の結果として、任意の核回帰ダイナミクスの説明力を超えたポーリの測定値を持つqnnの最大部分線型収束が証明される。 次に、超パラメータ化の限界におけるQNNの実際のダイナミクスを示す。 新しいダイナミクスは、トレーニング中の収束率の変化を捉え、測定範囲が高速なQNN収束にとって重要であることを示唆している。

関連論文リスト

• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Symmetric Pruning in Quantum Neural Networks [111.438286016951]
  量子ニューラルネットワーク(QNN)は、現代の量子マシンの力を発揮する。 ハンドクラフト対称アンサーゼを持つQNNは、一般に非対称アンサーゼを持つものよりも訓練性が高い。 本稿では,QNNのグローバル最適収束を定量化するために,実効量子ニューラルネットワークカーネル(EQNTK)を提案する。
  論文  参考訳（メタデータ） (2022-08-30T08:17:55Z)
• Toward Trainability of Deep Quantum Neural Networks [87.04438831673063]
  ランダムな構造を持つ量子ニューラルネットワーク(QNN)は、回路深さと量子ビット数が増加するにつれて指数関数的に減少する勾配のため、トレーニング性に乏しい。 理論的保証のある深部QNNに対して、消滅する勾配問題に対する最初の実現可能な解決策を提供する。
  論文  参考訳（メタデータ） (2021-12-30T10:27:08Z)
• Quantum-enhanced neural networks in the neural tangent kernel framework [0.4394730767364254]
  量子データエンコーダとcNNを組み合わせたqcNNのクラスについて検討する。 cNNの番号ノードが無限に大きくなるNTK状態において、qcNN全体の出力は、いわゆる射影量子カーネルの非線形関数となる。
  論文  参考訳（メタデータ） (2021-09-08T17:16:23Z)
• Chaos and Complexity from Quantum Neural Network: A study with Diffusion Metric in Machine Learning [0.0]
  量子ニューラルネットワーク(QNN)の機械学習力学における量子カオス現象と複雑性について検討する。 統計的および微分幾何学的手法を用いてQNNの学習理論を研究する。
  論文  参考訳（メタデータ） (2020-11-16T10:41:47Z)
• Toward Trainability of Quantum Neural Networks [87.04438831673063]
  量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。 QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。 木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
  論文  参考訳（メタデータ） (2020-11-12T08:32:04Z)
• Absence of Barren Plateaus in Quantum Convolutional Neural Networks [0.0]
  量子畳み込みニューラルネットワーク(QCNN)が提案されている。 我々はQCNNアーキテクチャのパラメータの勾配スケーリングを厳格に分析する。
  論文  参考訳（メタデータ） (2020-11-05T16:46:13Z)
• On the learnability of quantum neural networks [132.1981461292324]
  本稿では,量子ニューラルネットワーク(QNN)の学習可能性について考察する。 また,概念をQNNで効率的に学習することができれば,ゲートノイズがあってもQNNで効果的に学習できることを示す。
  論文  参考訳（メタデータ） (2020-07-24T06:34:34Z)
• Recurrent Quantum Neural Networks [7.6146285961466]
  リカレントニューラルネットワークは、機械学習における多くのシーケンス対シーケンスモデルの基盤となっている。 非自明なタスクに対して実証可能な性能を持つ量子リカレントニューラルネットワーク(QRNN)を構築する。 我々はQRNNをMNIST分類で評価し、QRNNに各画像ピクセルを供給し、また、最新のデータ拡張を前処理のステップとして利用する。
  論文  参考訳（メタデータ） (2020-06-25T17:59:44Z)
• Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
  平均勾配勾配勾配は極小収束率が得られることを示す。 本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T14:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。