論文の概要: Quantitative convergence of trained quantum neural networks to a Gaussian process

• arxiv url: http://arxiv.org/abs/2412.03182v1
• Date: Wed, 04 Dec 2024 10:09:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:06:34.526820
• Title: Quantitative convergence of trained quantum neural networks to a Gaussian process
• Title（参考訳）: 量子ニューラルネットワークのガウス過程への定量的収束
• Authors: Anderson Melchor Hernandez, Filippo Girardi, Davide Pastorello, Giacomo De Palma,
• Abstract要約: 生成した関数が全量子ビットにわたる単一量子ビットオブザーバブルの和の期待値である量子ニューラルネットワークについて検討する。 このような関数の確率分布は、ランダムに生成されたパラメータと訓練されたネットワークを持つ未学習ネットワークの無限幅の極限でガウス過程に収束することが証明された。
• 参考スコア（独自算出の注目度）: 3.495246564946556
• License:
• Abstract: We study quantum neural networks where the generated function is the expectation value of the sum of single-qubit observables across all qubits. In [Girardi \emph{et al.}, arXiv:2402.08726], it is proven that the probability distributions of such generated functions converge in distribution to a Gaussian process in the limit of infinite width for both untrained networks with randomly initialized parameters and trained networks. In this paper, we provide a quantitative proof of this convergence in terms of the Wasserstein distance of order $1$. First, we establish an upper bound on the distance between the probability distribution of the function generated by any untrained network with finite width and the Gaussian process with the same covariance. This proof utilizes Stein's method to estimate the Wasserstein distance of order $1$. Next, we analyze the training dynamics of the network via gradient flow, proving an upper bound on the distance between the probability distribution of the function generated by the trained network and the corresponding Gaussian process. This proof is based on a quantitative upper bound on the maximum variation of a parameter during training. This bound implies that for sufficiently large widths, training occurs in the lazy regime, \emph{i.e.}, each parameter changes only by a small amount. While the convergence result of [Girardi \emph{et al.}, arXiv:2402.08726] holds at a fixed training time, our upper bounds are uniform in time and hold even as $t \to \infty$.
• Abstract（参考訳）: 生成した関数が全量子ビットにわたる単一量子ビットオブザーバブルの和の期待値である量子ニューラルネットワークについて検討する。 Girardi \emph{et al }, arXiv:2402.08726] において、ランダムに初期化されたパラメータと訓練されたネットワークを持つ両方の未学習ネットワークの無限幅の極限において、そのような関数の確率分布がガウス過程に分布に収束することが証明された。 本稿では、この収束の定量的な証明として、ワッサーシュタイン距離が1ドルであることを示す。 まず、有限幅の任意の未学習ネットワークが生成する関数の確率分布と、同じ共分散のガウス過程との間の距離の上限を確立する。 この証明はスタインの手法を用いて、ワッサーシュタイン距離のオーダー1ドルを推定する。 次に, 学習ネットワークが生成する関数の確率分布とそれに対応するガウス過程との距離の上限を証明し, 勾配流によるネットワークのトレーニング力学を解析する。 この証明は、トレーニング中のパラメータの最大変動に関する定量的な上限に基づいている。 この境界は、十分に大きな幅において、トレーニングが遅延状態である 'emph{i.e.} で起こることを意味する。 Girardi \emph{et al }, arXiv:2402.08726] の収束結果は一定の訓練時間で成り立つが、上界は時間的に一様であり、$t \to \infty$ である。

関連論文リスト

• Random ReLU Neural Networks as Non-Gaussian Processes [20.607307985674428]
  線形単位活性化関数が整列されたランダムニューラルネットワークは、ガウス過程を適切に定義していないことを示す。 副産物として、これらのネットワークは、衝動ホワイトノイズによって駆動される微分方程式の解であることを示す。
  論文  参考訳（メタデータ） (2024-05-16T16:28:11Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Trained quantum neural networks are Gaussian processes [5.439020425819001]
  パラメトリックな1量子ビットゲートと2量子ビットゲートを幅の限界で固定した量子ニューラルネットワークについて検討した。 我々は、教師付き学習問題に対して、二乗損失を伴う勾配降下によるネットワークのトレーニングを解析的に特徴付ける。 ネットワークが不毛の台地の影響を受けていない限り、トレーニングされたネットワークはトレーニングセットに完全に適合する。
  論文  参考訳（メタデータ） (2024-02-13T19:00:08Z)
• Wide Deep Neural Networks with Gaussian Weights are Very Close to Gaussian Processes [1.0878040851638]
  ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。 また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
  論文  参考訳（メタデータ） (2023-12-18T22:29:40Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
  重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。 この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
  論文  参考訳（メタデータ） (2021-02-20T10:14:37Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Infinitely Wide Tensor Networks as Gaussian Process [1.7894377200944511]
  本稿では、無限に広いネットワークとガウス過程の等価性を示す。 我々は無限極限テンソルネットワークに対応するガウス過程を実装し、これらのモデルのサンプルパスをプロットする。
  論文  参考訳（メタデータ） (2021-01-07T02:29:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。