論文の概要: A Unified Theory of Quantum Neural Network Loss Landscapes
- arxiv url: http://arxiv.org/abs/2408.11901v3
- Date: Mon, 07 Oct 2024 21:58:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-10 14:29:01.827578
- Title: A Unified Theory of Quantum Neural Network Loss Landscapes
- Title(参考訳): 量子ニューラルネットワークの統一理論は景観を損なう
- Authors: Eric R. Anschuetz,
- Abstract要約: 量子ニューラルネットワーク(QNN)はランダムにガウス過程として振る舞うことが知られている。
QNNとその最初の2つの導関数が一般に「ウィッシュアートプロセス」と呼ばれるものを形成することを示す。
我々の統合フレームワークは、与えられたQNNモデルの「トレーニング可能性」に対して、ある種の単純な運用定義を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Classical neural networks with random initialization famously behave as Gaussian processes in the limit of many neurons, which allows one to completely characterize their training and generalization behavior. No such general understanding exists for quantum neural networks (QNNs), which -- outside of certain special cases -- are known to not behave as Gaussian processes when randomly initialized. We here prove that QNNs and their first two derivatives instead generally form what we call "Wishart processes," where certain algebraic properties of the network determine the hyperparameters of the process. This Wishart process description allows us to, for the first time: give necessary and sufficient conditions for a QNN architecture to have a Gaussian process limit; calculate the full gradient distribution, generalizing previously known barren plateau results; and calculate the local minima distribution of algebraically constrained QNNs. Our unified framework suggests a certain simple operational definition for the "trainability" of a given QNN model using a newly introduced, experimentally accessible quantity we call the "degrees of freedom" of the network architecture.
- Abstract(参考訳): ランダム初期化を持つ古典的ニューラルネットワークは、多くのニューロンの極限においてガウス過程として振る舞うことで知られており、トレーニングと一般化の振る舞いを完全に特徴づけることができる。
量子ニューラルネットワーク(QNN)に対するそのような一般的な理解は存在しないが、特定の特別な場合以外では、ランダムに初期化されるとガウス過程として振る舞わないことが知られている。
ここでは、QNNとその最初の2つの導関数が一般に「ウィッシュアート過程」と呼ばれるものを形成することを証明し、そこでは、ネットワークの代数的性質がプロセスのハイパーパラメータを決定する。
このWishartプロセス記述は、まず最初に、QNNアーキテクチャがガウスのプロセス限界を持つために必要な十分な条件を与え、全勾配分布を計算し、既知のバレンプラトー結果を一般化し、代数的に制約されたQNNの局所ミニマ分布を計算する。
我々の統合されたフレームワークは、ネットワークアーキテクチャの「自由度」と呼ばれる、新しく導入された実験的に利用可能な量を使って、与えられたQNNモデルの「トレーニング可能性」に対して、ある種の単純な運用定義を提案する。
関連論文リスト
- Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-02-27T18:52:38Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳(メタデータ) (2022-03-27T15:22:19Z) - Critical Initialization of Wide and Deep Neural Networks through Partial
Jacobians: General Theory and Applications [6.579523168465526]
ネットワークの固有ヤコビアン(enmphpartial Jacobians)を導入し、層$l$におけるプレアクティベーションの微分として定義し、層$l_0leq l$におけるプレアクティベーションについて述べる。
我々は,部分ジャコビアンのノルムに対する再帰関係を導出し,これらの関係を利用して,LayerNormおよび/または残留接続を用いたディープ・完全連結ニューラルネットワークの臨界度を解析する。
論文 参考訳(メタデータ) (2021-11-23T20:31:42Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳(メタデータ) (2021-07-31T10:25:26Z) - A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。
MNIST画像データセットがそのような条件を満たすことを数値的に示す。
我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文 参考訳(メタデータ) (2021-07-19T23:41:03Z) - Toward Trainability of Quantum Neural Networks [87.04438831673063]
量子ニューラルネットワーク(QNN)は、量子スピードアップを達成するために古典的ニューラルネットワークの一般化として提案されている。
QNNのトレーニングには、入力キュービット数に指数関数的に勾配速度がなくなるため、非常に大きなボトルネックが存在する。
木テンソルとステップ制御された構造を持つQNNを二分分類に適用し,ランダムな構造を持つQNNと比較してより高速な収束率と精度を示す。
論文 参考訳(メタデータ) (2020-11-12T08:32:04Z) - Absence of Barren Plateaus in Quantum Convolutional Neural Networks [0.0]
量子畳み込みニューラルネットワーク(QCNN)が提案されている。
我々はQCNNアーキテクチャのパラメータの勾配スケーリングを厳格に分析する。
論文 参考訳(メタデータ) (2020-11-05T16:46:13Z) - Neural Networks and Quantum Field Theory [0.0]
我々は、ウィルソン有効場理論の観点から、ニューラルネットワークの理論的理解を提案する。
この対応は、多くのニューラルネットワークがガウス過程から引き出されるという事実に依存している。
論文 参考訳(メタデータ) (2020-08-19T18:00:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。