論文の概要: Quantum Lazy Training

• arxiv url: http://arxiv.org/abs/2202.08232v6
• Date: Wed, 19 Apr 2023 18:33:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 17:56:42.052295
• Title: Quantum Lazy Training
• Title（参考訳）: 量子遅延トレーニング
• Authors: Erfan Abedi, Salman Beigi, Leila Taghavi
• Abstract要約: 幾何学的に局所的にパラメータ化された量子回路のトレーニングは、多数の量子ビットに対して遅延状態に入ることを示す。 より正確には、トレーニングプロセスにおいて、そのような幾何学的局所的なパラメータ化量子回路のパラメータの変化率の有界性を示す。
• 参考スコア（独自算出の注目度）: 2.492300648514128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the training of over-parameterized model functions via gradient descent, sometimes the parameters do not change significantly and remain close to their initial values. This phenomenon is called lazy training, and motivates consideration of the linear approximation of the model function around the initial parameters. In the lazy regime, this linear approximation imitates the behavior of the parameterized function whose associated kernel, called the tangent kernel, specifies the training performance of the model. Lazy training is known to occur in the case of (classical) neural networks with large widths. In this paper, we show that the training of geometrically local parameterized quantum circuits enters the lazy regime for large numbers of qubits. More precisely, we prove bounds on the rate of changes of the parameters of such a geometrically local parameterized quantum circuit in the training process, and on the precision of the linear approximation of the associated quantum model function; both of these bounds tend to zero as the number of qubits grows. We support our analytic results with numerical simulations.
• Abstract（参考訳）: 勾配降下による過度パラメータ化モデル関数の訓練では、パラメータが大きく変化せず、初期値に近づかないことがある。 この現象は遅延トレーニングと呼ばれ、初期パラメータ周辺のモデル関数の線形近似を考える動機付けとなる。 遅延状態において、この線形近似は、関連するカーネルである接カーネルと呼ばれるパラメータ化関数の挙動を模倣し、モデルのトレーニング性能を規定する。 遅延トレーニングは、幅が大きい(古典的)ニューラルネットワークの場合に発生することが知られている。 本稿では、幾何学的に局所的なパラメータ化された量子回路のトレーニングが、大量の量子ビットの遅延レジームに入ることを示す。 より正確には、トレーニング過程におけるそのような幾何学的局所的なパラメータ化量子回路のパラメータの変化率と、関連する量子モデル関数の線形近似の精度のバウンダリを証明し、これらのバウンダリは、キュービットの数が増加するにつれてゼロになる傾向がある。 我々は数値シミュレーションを用いて解析結果を支持する。

関連論文リスト

• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Identifying overparameterization in Quantum Circuit Born Machines [1.7259898169307613]
  量子回路Bornマシンのオーバーパラメータ化遷移の開始について,非逆勾配法を用いて学習した生成モデルについて検討する。 我々の結果は、これらのモデルのトレーニング可能性を完全に理解することは、未解決の問題であることを示している。
  論文  参考訳（メタデータ） (2023-07-06T21:05:22Z)
• Backpropagation scaling in parameterised quantum circuits [0.0]
  我々は、古典的にシミュレート可能でない回路を導入し、回路数を大幅に減らして勾配推定を許容する。 具体的には、これらの回路は勾配、高次偏微分、フィッシャー情報行列の高速な推定を可能にする。 16量子ビットの玩具分類問題では、これらの回路は他の手法と競合する性能を示し、トレーニングコストを約2桁削減する。
  論文  参考訳（メタデータ） (2023-06-26T18:00:09Z)
• Parsimonious Optimisation of Parameters in Variational Quantum Circuits [1.303764728768944]
  最適なパラメータを更新するために、1イテレーション毎に少なくとも2つの回路を実行する必要がある新しい量子勾配サンプリングを提案する。 提案手法は,古典的勾配降下に類似した収束率を達成し,勾配座標降下とSPSAを実証的に上回っている。
  論文  参考訳（メタデータ） (2023-06-20T18:50:18Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Machine learning in and out of equilibrium [58.88325379746631]
  我々の研究は、統計物理学から適応したフォッカー・プランク法を用いて、これらの平行線を探索する。 我々は特に、従来のSGDでは平衡が切れている長期的限界におけるシステムの定常状態に焦点を当てる。 本稿では,ミニバッチの置き換えを伴わない新しいランゲヴィンダイナミクス(SGLD)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T09:12:49Z)
• Deep Quantum Neural Networks are Gaussian Process [0.0]
  1/d$展開を用いて閉形式関係における有限幅の影響を調べる枠組みを提案する。 量子ニューラルタンジェントカーネル(QNTK)を特徴とするGPとそのパラメータ空間の等価性について解明する。
  論文  参考訳（メタデータ） (2023-05-22T03:07:43Z)
• Analytic theory for the dynamics of wide quantum neural networks [7.636414695095235]
  本研究では,変分量子機械学習モデルの学習誤差に対する勾配降下のダイナミクスについて検討する。 ランダムな量子回路では、残差トレーニング誤差の指数的減衰をシステムのパラメータの関数として予測し、特徴付ける。
  論文  参考訳（メタデータ） (2022-03-30T23:24:06Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。