論文の概要: Higher Order Derivatives of Quantum Neural Networks with Barren Plateaus
- arxiv url: http://arxiv.org/abs/2008.07454v2
- Date: Mon, 7 Jun 2021 15:15:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-06 00:59:04.170615
- Title: Higher Order Derivatives of Quantum Neural Networks with Barren Plateaus
- Title（参考訳）: 不毛高原を有する量子ニューラルネットワークの高次導出
- Authors: M. Cerezo, Patrick J. Coles
- Abstract要約: バレン高原(BP)において,ヘッセンの元素が指数関数的に抑制されていることを示す。
BPは(一階の)勾配勾配を超える最適化戦略に影響を与えるだろう。
量子ハードウェア上の高次偏微分を解析的に評価するために用いられる新しい一般公式を証明している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantum neural networks (QNNs) offer a powerful paradigm for programming
near-term quantum computers and have the potential to speedup applications
ranging from data science to chemistry to materials science. However, a
possible obstacle to realizing that speedup is the Barren Plateau (BP)
phenomenon, whereby the gradient vanishes exponentially in the system size $n$
for certain QNN architectures. The question of whether high-order derivative
information such as the Hessian could help escape a BP was recently posed in
the literature. Here we show that the elements of the Hessian are exponentially
suppressed in a BP, so estimating the Hessian in this situation would require a
precision that scales exponentially with $n$. Hence, Hessian-based approaches
do not circumvent the exponential scaling associated with BPs. We also show the
exponential suppression of higher order derivatives. Hence, BPs will impact
optimization strategies that go beyond (first-order) gradient descent. In
deriving our results, we prove novel, general formulas that can be used to
analytically evaluate any high-order partial derivative on quantum hardware.
These formulas will likely have independent interest and use for training
quantum neural networks (outside of the context of BPs).
- Abstract（参考訳）: 量子ニューラルネットワーク(qnns)は、短期量子コンピュータをプログラミングするための強力なパラダイムを提供し、データサイエンスから化学、材料科学まで幅広い応用をスピードアップする可能性を秘めている。
しかしながら、スピードアップを実現する上で考えられる障害は、特定のqnnアーキテクチャのシステムサイズが指数関数的に減少するbarren plateau (bp)現象である。
ヘシアンなどの高次微分情報がbpを逃がすのに役立つかどうかという疑問が最近文献で提起された。
ここでは、Hessianの元がBPで指数関数的に抑制されることを示すので、この状況でHessianを推定するには、$n$で指数関数的にスケールする精度が必要である。
したがって、ヘッセン系アプローチはBPに関連する指数的スケーリングを回避しない。
また,高次導関数の指数的抑制を示す。
したがって、BPは(一階の)勾配勾配を超える最適化戦略に影響を与える。
この結果から,量子ハードウェア上の任意の高次部分微分を解析的に評価できる,新しい一般式を証明した。
これらの公式は、(BPの文脈以外で)独立した関心を持ち、量子ニューラルネットワークのトレーニングに使用される可能性が高い。
関連論文リスト
- Temporal Spiking Neural Networks with Synaptic Delay for Graph Reasoning [91.29876772547348]
スパイキングニューラルネットワーク(SNN)は、生物学的にインスパイアされたニューラルネットワークモデルとして研究されている。
本稿では,SNNがシナプス遅延と時間符号化とを併用すると,グラフ推論の実行(知識)に長けていることを明らかにする。
論文 参考訳（メタデータ） (2024-05-27T05:53:30Z) - A Review of Barren Plateaus in Variational Quantum Computing [0.32360458646569984]
変分量子コンピューティングは、様々な分野で応用される柔軟な計算パラダイムを提供する。
それらのポテンシャルを実現するための重要な障害はバレンプラトー現象(BP)である。
本稿では,BP現象の現在の理解について概観する。
論文 参考訳（メタデータ） (2024-05-01T18:00:10Z) - Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients [51.82488018573326]
重み付きニューラルネットワークのトレーニングに適した,新しいレイヤワイドオプティマイザであるQP-SBGDを提案する。
BNNは、深層学習モデルの計算要求とエネルギー消費を最小限の精度で削減する。
提案アルゴリズムは階層的に実装されており,リソース制限量子ハードウェア上での大規模ネットワークのトレーニングに適している。
論文 参考訳（メタデータ） (2023-10-23T17:32:38Z) - Neural Basis Functions for Accelerating Solutions to High Mach Euler
Equations [63.8376359764052]
ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。
ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。
これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
論文 参考訳（メタデータ） (2022-08-02T18:27:13Z) - A temporally and spatially local spike-based backpropagation algorithm
to enable training in hardware [0.0]
Spiking Neural Networks (SNN)は、分類タスクのためのハードウェア効率の良いアーキテクチャとして登場した。
非スパイキング人工ニューラルネットワーク(ANN)で使用される強力なバックプロパゲーション(BP)技術を採用する試みはいくつかある。
論文 参考訳（メタデータ） (2022-07-20T08:57:53Z) - Learning Physics-Informed Neural Networks without Stacked
Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。
特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。
実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文 参考訳（メタデータ） (2022-02-18T18:07:54Z) - Toward Trainability of Deep Quantum Neural Networks [87.04438831673063]
ランダムな構造を持つ量子ニューラルネットワーク(QNN)は、回路深さと量子ビット数が増加するにつれて指数関数的に減少する勾配のため、トレーニング性に乏しい。
理論的保証のある深部QNNに対して、消滅する勾配問題に対する最初の実現可能な解決策を提供する。
論文 参考訳（メタデータ） (2021-12-30T10:27:08Z) - Bayesian Deep Learning for Partial Differential Equation Parameter
Discovery with Sparse and Noisy Data [0.0]
本研究では,ベイジアンニューラルネットワーク(BNN)を用いて,測定データからシステム全体の状態を復元する手法を提案する。
過度に適合することなく、様々な複雑さの物理学を正確に捉えることができることを示す。
我々は、物理学や非線形力学に適用されたいくつかの例について、我々のアプローチを実証する。
論文 参考訳（メタデータ） (2021-08-05T19:43:15Z) - Toward Trainability of Quantum Neural Networks [87.04438831673063]
量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。
QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。
木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
論文 参考訳（メタデータ） (2020-11-12T08:32:04Z) - A Neural Network Perturbation Theory Based on the Born Series [0.0]
ディープニューラルネットワーク(DNN)のテイラー係数は、主に解釈可能性研究の光に現れる。
このギャップは、ニューラルネットワーク(NN)テイラー展開の一般的な定式化を動機付けている。
NNは、主に対象関数のテイラー展開の先頭順にその導関数を適応することを示す。
論文 参考訳（メタデータ） (2020-09-07T15:54:27Z) - Trainability of Dissipative Perceptron-Based Quantum Neural Networks [0.8258451067861933]
分散QNN (Dissipative QNNs) と呼ばれる最近提案されたアーキテクチャの勾配スケーリング(従ってトレーニング容易性)を分析した。
DQNNは不規則な高原(すなわち、量子ビット数で指数関数的に消える勾配)を示すことができる。
論文 参考訳（メタデータ） (2020-05-26T00:59:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。