論文の概要: Tensor Networks for Probabilistic Sequence Modeling

• arxiv url: http://arxiv.org/abs/2003.01039v4
• Date: Fri, 23 Apr 2021 16:52:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 04:38:12.219264
• Title: Tensor Networks for Probabilistic Sequence Modeling
• Title（参考訳）: 確率的シーケンスモデリングのためのテンソルネットワーク
• Authors: Jacob Miller, Guillaume Rabusseau, John Terilla
• Abstract要約: シーケンスデータの確率的モデリングには,一様行列積状態(u-MPS)モデルを用いる。 次に、訓練されたu-MPSに対して、様々な条件分布から効率的にサンプリングできる新しい生成アルゴリズムを提案する。 合成テキストデータと実テキストデータを用いたシーケンスモデリング実験は、U-MPSが様々なベースラインより優れていることを示す。
• 参考スコア（独自算出の注目度）: 7.846449972735859
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tensor networks are a powerful modeling framework developed for computational many-body physics, which have only recently been applied within machine learning. In this work we utilize a uniform matrix product state (u-MPS) model for probabilistic modeling of sequence data. We first show that u-MPS enable sequence-level parallelism, with length-n sequences able to be evaluated in depth O(log n). We then introduce a novel generative algorithm giving trained u-MPS the ability to efficiently sample from a wide variety of conditional distributions, each one defined by a regular expression. Special cases of this algorithm correspond to autoregressive and fill-in-the-blank sampling, but more complex regular expressions permit the generation of richly structured data in a manner that has no direct analogue in neural generative models. Experiments on sequence modeling with synthetic and real text data show u-MPS outperforming a variety of baselines and effectively generalizing their predictions in the presence of limited data.
• Abstract（参考訳）: テンソルネットワーク(tensor networks)は、計算多体物理学のために開発された強力なモデリングフレームワークである。 本研究では,一様行列積状態(u-MPS)モデルを用いてシーケンスデータの確率的モデリングを行う。 まず、u-MPSは長さnの列を深さO(log n)で評価できるシーケンスレベルの並列化を可能にすることを示す。 次に、訓練されたu-mpに対して、様々な条件分布から効率的にサンプルできる新しい生成アルゴリズムを導入し、それぞれを正規表現で定義する。 このアルゴリズムの特別なケースは自己回帰的および補充的ブランクサンプリングに対応するが、より複雑な正規表現は、神経生成モデルに直接類似しない方法でリッチな構造化されたデータを生成することができる。 合成テキストデータと実テキストデータを用いたシーケンスモデリング実験は、U-MPSが様々なベースラインを上回り、限られたデータが存在する場合の予測を効果的に一般化することを示す。

関連論文リスト

• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Quantum Generative Modeling of Sequential Data with Trainable Token Embedding [0.0]
  ボルンマシンとして知られる量子インスパイアされた生成モデルは、古典的および量子的データの学習において大きな進歩を見せている。 本稿では,MPSを同時に使用可能なトレーニング可能な量子計測演算子への埋め込み法を一般化する。 私たちの研究は、トレーニング可能な埋め込みと組み合わせることで、Bornマシンはより良いパフォーマンスを示し、データセットからより深い相関関係を学習できることを示した。
  論文  参考訳（メタデータ） (2023-11-08T22:56:37Z)
• Approximate Message Passing for the Matrix Tensor Product Model [8.206394018475708]
  本稿では,行列テンソル積モデルに対する近似メッセージパッシング(AMP)アルゴリズムの提案と解析を行う。 非可分関数に対する収束定理に基づいて、非可分関数に対する状態発展を証明する。 我々は、この状態進化結果を利用して、関心の信号の回復に必要な十分な条件を提供する。
  論文  参考訳（メタデータ） (2023-06-27T16:03:56Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• Generative Adversarial Network for Probabilistic Forecast of Random Dynamical System [19.742888499307178]
  本研究では,確率力学系のデータ駆動型シミュレーションのための深層学習モデルを提案する。 本稿では,逐次推論問題に対する一貫性条件に基づく生成逆数ネットワークの正規化戦略を提案する。 複雑な雑音構造を持つ3つのプロセスを用いて,提案モデルの挙動について検討した。
  論文  参考訳（メタデータ） (2021-11-04T19:50:56Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• Deep Probabilistic Time Series Forecasting using Augmented Recurrent Input for Dynamic Systems [12.319812075685956]
  我々は、深部生成モデルと状態空間モデル(SSM)の両方の進歩を組み合わせて、新しいデータ駆動の深部確率的シーケンスモデルを考え出す。 特に、リカレントニューラルネットワーク(RNN)を用いた変動配列モデルを構築するために、一般的なエンコーダデコーダ生成構造に従う。 トレーニングと予測の不整合を緩和するために,次のステップでハイブリッド出力を入力として使用することを提案する。
  論文  参考訳（メタデータ） (2021-06-03T23:41:11Z)
• Deep Neural Dynamic Bayesian Networks applied to EEG sleep spindles modeling [0.0]
  本稿では,視覚的スコアリングにおいて専門家が積極的に実施する制約を組み込んだ単一チャネル脳波生成モデルを提案する。 我々は、一般化期待最大化の特別な場合として、正確に、抽出可能な推論のためのアルゴリズムを導出する。 我々は、このモデルを3つの公開データセット上で検証し、より複雑なモデルが最先端の検出器を越えられるように支援する。
  論文  参考訳（メタデータ） (2020-10-16T21:48:29Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Graph Gamma Process Generalized Linear Dynamical Systems [60.467040479276704]
  実マルチ変数時系列をモデル化するために,グラフガンマ過程(GGP)線形力学系を導入する。 時間的パターン発見のために、モデルの下での潜在表現は、時系列を多変量部分列の同相集合に分解するために使用される。 非零次ノード数が有限であるランダムグラフを用いて、潜時状態遷移行列の空間パターンと次元の両方を定義する。
  論文  参考訳（メタデータ） (2020-07-25T04:16:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。