論文の概要: Efficient Generative Modeling with Unitary Matrix Product States Using Riemannian Optimization
- arxiv url: http://arxiv.org/abs/2603.12026v1
- Date: Thu, 12 Mar 2026 15:05:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-13 14:46:26.168548
- Title: Efficient Generative Modeling with Unitary Matrix Product States Using Riemannian Optimization
- Title(参考訳): リーマン最適化を用いたユニタリ行列積状態を用いた効率的な生成モデル
- Authors: Haotong Duan, Zhongming Chen, Ngai Wong,
- Abstract要約: 本稿では,生成モデルのための行列積状態(MPS)を体系的に研究する。
Unitary MPSは、単純かつ表現力のあるテンソルネットワークアーキテクチャであり、教師なし学習に明確な利点を提供する。
Bars-and-StripesとEMNISTデータセットの実験は、データ構造への高速な適応、安定した更新、強力なパフォーマンスを示している。
- 参考スコア(独自算出の注目度): 14.767214474486893
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tensor networks, which are originally developed for characterizing complex quantum many-body systems, have recently emerged as a powerful framework for capturing high-dimensional probability distributions with strong physical interpretability. This paper systematically studies matrix product states (MPS) for generative modeling and shows that unitary MPS, which is a tensor-network architecture that is both simple and expressive, offers clear benefits for unsupervised learning by reducing ambiguity in parameter updates and improving efficiency. To overcome the inefficiency of standard gradient-based MPS training, we develop a Riemannian optimization approach that casts probabilistic modeling as an optimization problem with manifold constraints, and further derive an efficient space-decoupling algorithm. Experiments on Bars-and-Stripes and EMNIST datasets demonstrate fast adaptation to data structure, stable updates, and strong performance while maintaining the efficiency and expressive power of MPS.
- Abstract(参考訳): テンソルネットワークは、もともと複雑な量子多体系を特徴付けるために開発されたもので、高次元の確率分布を強い物理的解釈可能性で捉えるための強力なフレームワークとして最近登場した。
本稿では、生成モデルのための行列積状態(MPS)を体系的に研究し、単純かつ表現力のあるテンソルネットワークアーキテクチャであるユニタリMPSが、パラメータ更新のあいまいさを低減し、効率を向上させることにより、教師なし学習に明確なメリットをもたらすことを示す。
標準勾配に基づくMPSトレーニングの非効率性を克服するため、多様体制約による最適化問題として確率論的モデリングを取り入れたリーマン最適化手法を開発し、より効率的な空間デカップリングアルゴリズムを導出する。
Bars-and-StripesとEMNISTデータセットの実験では、MPSの効率性と表現力を維持しながら、データ構造、安定した更新、強力なパフォーマンスへの迅速な適応が示されている。
関連論文リスト
- Online Bayesian Experimental Design for Partially Observed Dynamical Systems [10.774974720491565]
本研究では,部分可観測性を持つ動的システムにおけるデータ収集を最適化するための基本的フレームワークを開発する。
我々のフレームワークは、部分観測可能性とオンライン推論の両方をうまく処理します。
論文 参考訳(メタデータ) (2025-11-06T14:29:05Z) - Towards Efficient General Feature Prediction in Masked Skeleton Modeling [59.46799426434277]
マスクスケルトンモデリングのための新しい汎用特徴予測フレームワーク(GFP)を提案する。
我々の重要な革新は、局所的な動きパターンからグローバルな意味表現にまたがる、従来の低レベルな再構築を高レベルな特徴予測に置き換えることです。
論文 参考訳(メタデータ) (2025-09-03T18:05:02Z) - Reparameterized LLM Training via Orthogonal Equivalence Transformation [54.80172809738605]
直交同値変換を用いてニューロンを最適化する新しいトレーニングアルゴリズムPOETを提案する。
POETは、目的関数を安定して最適化し、一般化を改善する。
我々は、大規模ニューラルネットワークのトレーニングにおいて、POETを柔軟かつスケーラブルにするための効率的な近似を開発する。
論文 参考訳(メタデータ) (2025-06-09T17:59:34Z) - Efficient Transformed Gaussian Process State-Space Models for Non-Stationary High-Dimensional Dynamical Systems [49.819436680336786]
本研究では,高次元非定常力学系のスケーラブルかつ柔軟なモデリングのための効率的な変換ガウス過程状態空間モデル(ETGPSSM)を提案する。
具体的には、ETGPSSMは、単一の共有GPと入力依存の正規化フローを統合し、複雑な非定常遷移ダイナミクスを捉える前に、表現的な暗黙のプロセスを生成する。
ETGPSSMは、計算効率と精度の観点から、既存のGPSSMとニューラルネットワークベースのSSMより優れています。
論文 参考訳(メタデータ) (2025-03-24T03:19:45Z) - DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [86.76714527437383]
本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。
我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。
LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2025-02-18T02:37:26Z) - Regularized second-order optimization of tensor-network Born machines [2.8834278113855896]
ボルンマシン(英: Born Machine、TNBM)は、データ分布を学習するための量子インスパイアされた生成モデルである。
TNBMの鍵となるボトルネックは、この問題によく使用される損失関数の対数的性質である。
そこで本研究では,TNBMトレーニングにおける2次最適化手法を改良し,収束率と最適化モデルの品質を大幅に向上させる。
論文 参考訳(メタデータ) (2025-01-30T19:00:04Z) - Adaptive Error-Bounded Hierarchical Matrices for Efficient Neural Network Compression [0.0]
本稿では,物理インフォームドニューラルネットワーク(PINN)に適した動的,エラーバウンドな階層行列 (H-matrix) 圧縮手法を提案する。
提案手法は,ニューラル・タンジェント・カーネル(NTK)の本質的性質を保ちながら,大規模物理モデルにおける計算複雑性とメモリ要求を低減させる。
実験により, この手法は, 高精度を維持し, 一般化能力を向上させることにより, Singular Value Decomposition (SVD) やプルーニング, 量子化などの従来の圧縮手法よりも優れていることを示した。
論文 参考訳(メタデータ) (2024-09-11T05:55:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。