論文の概要: Sequential Density Estimation via NCWFAs Sequential Density Estimation
via Nonlinear Continuous Weighted Finite Automata
- arxiv url: http://arxiv.org/abs/2206.03923v1
- Date: Wed, 8 Jun 2022 14:31:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-09 18:25:31.313612
- Title: Sequential Density Estimation via NCWFAs Sequential Density Estimation
via Nonlinear Continuous Weighted Finite Automata
- Title(参考訳): 非線形連続重み付き有限オートマトンによるncwfasシーケンシャル密度推定
- Authors: Tianyu Li and Bogdan Mazoure and Guillaume Rabusseau
- Abstract要約: RNADE-NCWFAモデルは設計により密度関数を計算する。
異なる長さの列の密度を推定するモデルの能力を評価する。
- 参考スコア(独自算出の注目度): 13.335650071015003
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Weighted finite automata (WFAs) have been widely applied in many fields. One
of the classic problems for WFAs is probability distribution estimation over
sequences of discrete symbols. Although WFAs have been extended to deal with
continuous input data, namely continuous WFAs (CWFAs), it is still unclear how
to approximate density functions over sequences of continuous random variables
using WFA-based models, due to the limitation on the expressiveness of the
model as well as the tractability of approximating density functions via CWFAs.
In this paper, we propose a nonlinear extension to the CWFA model to first
improve its expressiveness, we refer to it as the nonlinear continuous WFAs
(NCWFAs). Then we leverage the so-called RNADE method, which is a well-known
density estimator based on neural networks, and propose the RNADE-NCWFA model.
The RNADE-NCWFA model computes a density function by design. We show that this
model is strictly more expressive than the Gaussian HMM model, which CWFA
cannot approximate. Empirically, we conduct a synthetic experiment using
Gaussian HMM generated data. We focus on evaluating the model's ability to
estimate densities for sequences of varying lengths (longer length than the
training data). We observe that our model performs the best among the compared
baseline methods.
- Abstract(参考訳): 重み付き有限オートマトン(WFAs)は多くの分野に広く応用されている。
WFAの古典的な問題の1つは離散記号列上の確率分布の推定である。
WFAは連続入力データ、すなわち連続WFA(CWFA)を扱うために拡張されているが、モデルの表現性やCWFAによる近似密度関数のトラクタビリティに制限があるため、WFAベースのモデルを用いて連続乱数列上の密度関数をどのように近似するかはいまだ不明である。
本稿では,まずその表現性を改善するために,cwfaモデルへの非線形拡張を提案し,これを非線形連続wfas (ncwfas) と呼ぶ。
次に,ニューラルネットワークに基づくよく知られた密度推定器であるrnade法を活用し,rnade-ncwfaモデルを提案する。
RNADE-NCWFAモデルは、設計により密度関数を計算する。
このモデルは、CWFAでは近似できないガウスHMMモデルよりも厳密に表現可能であることを示す。
実験では,ガウスHMM生成データを用いた合成実験を行った。
本研究では,異なる長さ(トレーニングデータよりも長い)の列の密度を推定するモデルの能力を評価することに注力する。
比較したベースライン手法の中で,本モデルが最良であることを示す。
関連論文リスト
- Convergence Analysis of Discrete Diffusion Model: Exact Implementation
through Uniformization [17.535229185525353]
連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。
我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
論文 参考訳(メタデータ) (2024-02-12T22:26:52Z) - Deep Latent Force Models: ODE-based Process Convolutions for Bayesian
Deep Learning [0.0]
深潜力モデル (DLFM) は、各層に物理インフォームドカーネルを持つ深いガウス過程である。
我々はDLFMの非線形実世界の時系列データに現れるダイナミクスを捉える能力の実証的証拠を提示する。
DLFMは,非物理インフォームド確率モデルに匹敵する性能を達成できることがわかった。
論文 参考訳(メタデータ) (2023-11-24T19:55:57Z) - Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である
DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文 参考訳(メタデータ) (2023-11-01T12:17:05Z) - Bayesian Non-linear Latent Variable Modeling via Random Fourier Features [7.856578780790166]
一般化非線形潜在変数モデリングのためのマルコフ連鎖モンテカルロ推定法を提案する。
推論 forVM は、データ可能性がガウス的である場合にのみ、計算的に抽出可能である。
ポアソン, 負二項分布, 多項分布などの非ガウス観測にVMを一般化できることが示される。
論文 参考訳(メタデータ) (2023-06-14T08:42:10Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳(メタデータ) (2022-11-30T05:33:29Z) - Infinite-Fidelity Coregionalization for Physical Simulation [22.524773932668023]
多要素モデリングと学習は、物理シミュレーション関連の応用において重要である。
Infinite Fidelity Co Regionalalization (IFC) を提案する。
計算物理学におけるいくつかのベンチマークタスクにおいて,本手法の利点を示す。
論文 参考訳(メタデータ) (2022-07-01T23:01:10Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳(メタデータ) (2021-06-06T18:05:02Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳(メタデータ) (2020-10-24T07:01:24Z) - tvGP-VAE: Tensor-variate Gaussian Process Prior Variational Autoencoder [0.0]
tvGP-VAEはカーネル関数を使用して相関を明示的にモデル化することができる。
そこで本研究では,どの相関構造を潜在空間で明示的に表現するかの選択が,モデル性能に大きな影響を及ぼすことを示す。
論文 参考訳(メタデータ) (2020-06-08T17:59:13Z) - On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。
異なる家族間でのモデルランキングの相関はみられない。
論文 参考訳(メタデータ) (2020-02-17T20:13:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。