論文の概要: Neural Tangent Kernel of Matrix Product States: Convergence and Applications

• arxiv url: http://arxiv.org/abs/2111.14046v1
• Date: Sun, 28 Nov 2021 04:10:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-30 16:35:04.949606
• Title: Neural Tangent Kernel of Matrix Product States: Convergence and Applications
• Title（参考訳）: 行列積状態の神経接核:収束とその応用
• Authors: Erdong Guo, David Draper
• Abstract要約: マトリックス製品状態(MPS)のニューラルタンジェントカーネル(NTK)について検討する。 我々は,MPSally の NTK が勾配降下(トレーニング)過程において定数行列に収束することを証明した。 無限結合次元極限におけるそれらの力学を解析する。
• 参考スコア（独自算出の注目度）: 1.7894377200944511
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we study the Neural Tangent Kernel (NTK) of Matrix Product States (MPS) and the convergence of its NTK in the infinite bond dimensional limit. We prove that the NTK of MPS asymptotically converges to a constant matrix during the gradient descent (training) process (and also the initialization phase) as the bond dimensions of MPS go to infinity by the observation that the variation of the tensors in MPS asymptotically goes to zero during training in the infinite limit. By showing the positive-definiteness of the NTK of MPS, the convergence of MPS during the training in the function space (space of functions represented by MPS) is guaranteed without any extra assumptions of the data set. We then consider the settings of (supervised) Regression with Mean Square Error (RMSE) and (unsupervised) Born Machines (BM) and analyze their dynamics in the infinite bond dimensional limit. The ordinary differential equations (ODEs) which describe the dynamics of the responses of MPS in the RMSE and BM are derived and solved in the closed-form. For the Regression, we consider Mercer Kernels (Gaussian Kernels) and find that the evolution of the mean of the responses of MPS follows the largest eigenvalue of the NTK. Due to the orthogonality of the kernel functions in BM, the evolution of different modes (samples) decouples and the "characteristic time" of convergence in training is obtained.
• Abstract（参考訳）: 本研究では,マトリックス生成状態(MPS)のニューラルタンジェントカーネル(NTK)と,そのNTKの無限結合次元極限への収束について検討する。 我々は、MPSの結合次元が無限極限におけるトレーニング中に、MPSのテンソルの変動が漸近的にゼロとなる観察により無限大になるとき、MPSのNTKが勾配降下(トレーニング)過程(および初期化フェーズ)の間に定数行列に漸近的に収束することを証明する。 MPS の NTK の正定性を示すことにより、関数空間(MPS で表される関数空間)におけるトレーニング中の MPS の収束は、データセットの余分な仮定なしで保証される。 次に,平均平方誤差 (RMSE) と (非教師) ボルンマシン (BM) による (教師なし) 回帰の設定を検討し,その力学を無限結合次元の極限で解析する。 RMSEおよびBMにおけるMPSの応答のダイナミクスを記述する通常の微分方程式(ODE)を導出し、閉形式で解いた。 回帰について、Mercurer Kernels (Gaussian Kernels) を考えると、MPS の応答の平均の進化は NTK の最大の固有値に従う。 bm における核関数の直交性により、異なるモード(サンプル)のデカップルの進化と、訓練における収束の「特性的時間」が得られる。

関連論文リスト

• Theory of free fermions dynamics under partial post-selected monitoring [49.1574468325115]
  連続弱測定の顕微鏡的記述に基づく部分選択後のシュルディンガー方程式を導出する。 監視された普遍性への通路は, 有限部分選択で突然発生することを示す。 我々の手法は、量子軌道の任意の部分集合に対するMIPTの研究方法を確立する。
  論文  参考訳（メタデータ） (2023-12-21T16:53:42Z)
• A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks [49.870593940818715]
  本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。 我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
  論文  参考訳（メタデータ） (2022-10-28T17:26:27Z)
• Non-equilibrium quantum impurity problems via matrix-product states in the temporal domain [0.0]
  ファインマン・ヴァーノン影響関数(IF)の行列積状態(MPS)表現に基づく不純物ダイナミクスの解析手法を提案する。 一次元貯水池群における波動関数の明示的表現を求め, TEのスケーリングを異なる貯水池の初期状態の進化時間で解析する。 このアプローチは、量子ドットによる高度に非平衡な輸送や、不純物-貯留層相関のリアルタイム形成など、多くの実験的な設定に適用できる。
  論文  参考訳（メタデータ） (2022-05-10T16:05:25Z)
• Noise-resilient Edge Modes on a Chain of Superconducting Qubits [103.93329374521808]
  量子系の遺伝対称性は、それ以外は脆弱な状態を保護することができる。 非局所マヨラナエッジモード(MEM)を$mathbbZ$パリティ対称性で表す一次元キックドイジングモデルを実装した。 MEMは、予熱機構により特定の対称性を破るノイズに対して弾力性があることが判明した。
  論文  参考訳（メタデータ） (2022-04-24T22:34:15Z)
• Developments in the Tensor Network -- from Statistical Mechanics to Quantum Entanglement [0.0]
  レビューでは、統計力学の側面から、TNの一連の展開を統一的に記述している。 本稿では,CTMを密度行列再正規化群 (DMRG) や無限時間展開ブロックデシメーションといったMPSベースの手法に進化させる方法について説明する。 次に, 臨界系におけるTRGの難易度は, テンソルネットワーク再正規化とマルチスケールエンタングル化再正規化アンサッツで克服されるかについて議論する。
  論文  参考訳（メタデータ） (2021-11-24T01:46:36Z)
• Non-Markovian Stochastic Schr\"odinger Equation: Matrix Product State Approach to the Hierarchy of Pure States [65.25197248984445]
  開有限温度における非マルコフ力学に対する行列積状態(HOMPS)の階層を導出する。 HOMPSの有効性と効率性はスピン-ボソンモデルと長鎖に対して示され、各部位は構造化された強非マルコフ環境に結合する。
  論文  参考訳（メタデータ） (2021-09-14T01:47:30Z)
• Representation Theorem for Matrix Product States [1.7894377200944511]
  本稿では, 行列積状態(MPS)の普遍的表現能力について, 関数と連続関数の観点から検討する。 任意のゲートに対して対応するMPS構造の構築方法を提供することにより、MPSが任意の機能を正確に実現できることを示した。 我々は,MPSとニューラルネットワークの関係について検討し,スケール不変なシグモダル関数を持つMPSが一層ニューラルネットワークと等価であることを示す。
  論文  参考訳（メタデータ） (2021-03-15T11:06:54Z)
• A Dynamical Central Limit Theorem for Shallow Neural Networks [48.66103132697071]
  平均極限の周りのゆらぎは、トレーニングを通して平均正方形に有界であることを証明する。 平均場ダイナミクスがトレーニングデータを補間する尺度に収束すると、最終的にCLTスケーリングにおいて偏差が消えることを示す。
  論文  参考訳（メタデータ） (2020-08-21T18:00:50Z)
• The Convergence Indicator: Improved and completely characterized parameter bounds for actual convergence of Particle Swarm Optimization [68.8204255655161]
  我々は、粒子が最終的に単一点に収束するか、分岐するかを計算するのに使用できる新しい収束指標を導入する。 この収束指標を用いて、収束群につながるパラメータ領域を完全に特徴づける実際の境界を提供する。
  論文  参考訳（メタデータ） (2020-06-06T19:08:05Z)
• Variational optimization of continuous matrix product states [0.0]
  非均一な外部ポテンシャルを持つ系に対する連続行列積状態の最適化方法を示す。 エネルギーと後方微分の両方を、結合次元の立方体としてスケールするコストで正確に計算できることを示す。 このことは、外部ポテンシャルにおける相互作用するボソンの基底状態を発見し、連続多体系のバウンダリやカシミールエネルギー補正を計算することによって説明できる。
  論文  参考訳（メタデータ） (2020-06-02T17:35:41Z)
• Spectra of the Conjugate Kernel and Neural Tangent Kernel for linear-width neural networks [22.57374777395746]
  本研究では,フィードフォワードニューラルネットワークに関連する共役ニューラルカーネルとタンジェントカーネルの固有値について検討する。 CKとNTKの固有値分布は決定論的極限に収束することを示す。
  論文  参考訳（メタデータ） (2020-05-25T01:11:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。