論文の概要: Initialization and training of matrix product state probabilistic models
- arxiv url: http://arxiv.org/abs/2505.06419v1
- Date: Fri, 09 May 2025 20:39:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-13 20:21:48.836128
- Title: Initialization and training of matrix product state probabilistic models
- Title（参考訳）: 行列積状態確率モデルの初期化と訓練
- Authors: Xun Tang, Yuehaw Khoo, Lexing Ying,
- Abstract要約: 勾配降下を用いたランダムな行列積状態の学習における共通故障モードについて検討する。
トレーニングされたMPSモデルは境界点間の強い相互作用を正確に予測しない。
トレーニング失敗を克服するための2つの補完戦略を提案する。
- 参考スコア（独自算出の注目度）: 10.391338066539237
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modeling probability distributions via the wave function of a quantum state is central to quantum-inspired generative modeling and quantum state tomography (QST). We investigate a common failure mode in training randomly initialized matrix product states (MPS) using gradient descent. The results show that the trained MPS models do not accurately predict the strong interactions between boundary sites in periodic spin chain models. In the case of the Born machine algorithm, we further identify a causality trap, where the trained MPS models resemble causal models that ignore the non-local correlations in the true distribution. We propose two complementary strategies to overcome the training failure -- one through optimization and one through initialization. First, we develop a natural gradient descent (NGD) method, which approximately simulates the gradient flow on tensor manifolds and significantly enhances training efficiency. Numerical experiments show that NGD avoids local minima in both Born machines and in general MPS tomography. Remarkably, we show that NGD with line search can converge to the global minimum in only a few iterations. Second, for the BM algorithm, we introduce a warm-start initialization based on the TTNS-Sketch algorithm. We show that gradient descent under a warm initialization does not encounter the causality trap and admits rapid convergence to the ground truth.
- Abstract（参考訳）: 量子状態の波動関数による確率分布のモデル化は、量子インスパイアされた生成モデルと量子状態トモグラフィ(QST)の中心である。
勾配降下を用いたランダム初期化行列積状態(MPS)の学習における共通故障モードについて検討する。
その結果, トレーニングされたMPSモデルでは, 周期的スピンチェーンモデルにおける境界点間の強い相互作用を正確に予測できないことがわかった。
ボルン機械アルゴリズムの場合、トレーニングされたMPSモデルは、真の分布における非局所的相関を無視した因果モデルに類似する因果トラップを更に同定する。
トレーニングの失敗を克服するための2つの補完的戦略を提案します。
まず, テンソル多様体上の勾配流を概ねシミュレートし, トレーニング効率を大幅に向上する自然勾配降下法(NGD)を提案する。
数値実験により、NGDはボルンマシンと一般MPSトモグラフィの両方の局所的なミニマを回避していることが示された。
注目すべきは、行探索によるNGDが、数イテレーションで大域最小値に収束できることである。
第2に,TTNS-Sketchアルゴリズムに基づくウォームスタート初期化を導入する。
熱い初期化の下での勾配降下は因果トラップに遭遇せず, 基底の真理に急速に収束することを示す。
関連論文リスト
- MILP initialization for solving parabolic PDEs with PINNs [2.5932373010465364]
物理インフォームドニューラルネットワーク(PINN)は物理系の解とパラメータ推定を提供する強力なディープラーニング手法である。
ニューラルネットワーク構造の複雑さを考えると、収束速度は数値的手法と比較しても制限される。
論文 参考訳（メタデータ） (2025-01-27T15:46:38Z) - Max-affine regression via first-order methods [7.12511675782289]
最大アフィンモデルは信号処理と統計学の応用においてユビキタスに現れる。
最大アフィン回帰に対する勾配降下(GD)とミニバッチ勾配降下(SGD)の非漸近収束解析を行った。
論文 参考訳（メタデータ） (2023-08-15T23:46:44Z) - Predicting the Initial Conditions of the Universe using a Deterministic
Neural Network [10.158552381785078]
宇宙の現在の状態に繋がる初期条件を見つけることは、初期条件の難解な入力空間を探索することを伴うため、難しい。
深層学習は,N体シミュレーションの線形入力とシミュレーションからの最終的な非線形出力のマッピングを直接学習することにより,N体シミュレーションの代用として登場した。
本研究では, 逆写像の学習に決定論的畳み込みニューラルネットワークを応用し, 広い範囲にわたる線形変位場を正確に復元することを示す。
論文 参考訳（メタデータ） (2023-03-23T06:04:36Z) - CoopInit: Initializing Generative Adversarial Networks via Cooperative
Learning [50.90384817689249]
CoopInitは、協力的な学習ベースの戦略で、GANにとって良い出発点を素早く学べる。
本稿では,画像生成における提案手法の有効性を示す。
論文 参考訳（メタデータ） (2023-03-21T07:49:32Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Losing momentum in continuous-time stochastic optimisation [42.617042045455506]
運動量に基づく最適化アルゴリズムは 特に広まりました
本研究では、運動量を伴う勾配降下の連続時間モデルを解析する。
また、画像分類問題において畳み込みニューラルネットワークを訓練する。
論文 参考訳（メタデータ） (2022-09-08T10:46:05Z) - Simple lessons from complex learning: what a neural network model learns
about cosmic structure formation [7.270598539996841]
我々は、宇宙論的N体シミュレーションの完全な位相空間進化を予測するためにニューラルネットワークモデルを訓練する。
本モデルでは, 非線形スケールでの精度を, COLAに対して有意な改善を示す$ksim 1 MathrmMpc-1, h$で達成する。
論文 参考訳（メタデータ） (2022-06-09T15:41:09Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Distributional Gradient Matching for Learning Uncertain Neural Dynamics
Models [38.17499046781131]
本稿では,数値積分ボトルネックを回避するため,不確実なニューラル・オーダを推定するための新しい手法を提案する。
我々のアルゴリズム - 分布勾配マッチング (DGM) は、よりスムーズなモデルと動的モデルを共同で訓練し、ワッサーシュタイン損失を最小化することでそれらの勾配と一致する。
数値積分に基づく従来の近似推論手法と比較して,我々の手法は訓練がより速く,これまで見つからなかった軌道の予測がより高速であり,ニューラルODEの文脈では,はるかに正確であることがわかった。
論文 参考訳（メタデータ） (2021-06-22T08:40:51Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳（メタデータ） (2020-02-20T15:43:02Z) - A Near-Optimal Gradient Flow for Learning Neural Energy-Based Models [93.24030378630175]
学習エネルギーベースモデル(EBM)の勾配流を最適化する新しい数値スキームを提案する。
フォッカー・プランク方程式から大域相対エントロピーの2階ワッサーシュタイン勾配流を導出する。
既存のスキームと比較して、ワッサーシュタイン勾配流は実データ密度を近似するより滑らかで近似的な数値スキームである。
論文 参考訳（メタデータ） (2019-10-31T02:26:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。