論文の概要: Sequential Density Estimation via NCWFAs Sequential Density Estimation via Nonlinear Continuous Weighted Finite Automata

• arxiv url: http://arxiv.org/abs/2206.03923v1
• Date: Wed, 8 Jun 2022 14:31:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-09 18:25:31.313612
• Title: Sequential Density Estimation via NCWFAs Sequential Density Estimation via Nonlinear Continuous Weighted Finite Automata
• Title（参考訳）: 非線形連続重み付き有限オートマトンによるncwfasシーケンシャル密度推定
• Authors: Tianyu Li and Bogdan Mazoure and Guillaume Rabusseau
• Abstract要約: RNADE-NCWFAモデルは設計により密度関数を計算する。 異なる長さの列の密度を推定するモデルの能力を評価する。
• 参考スコア（独自算出の注目度）: 13.335650071015003
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weighted finite automata (WFAs) have been widely applied in many fields. One of the classic problems for WFAs is probability distribution estimation over sequences of discrete symbols. Although WFAs have been extended to deal with continuous input data, namely continuous WFAs (CWFAs), it is still unclear how to approximate density functions over sequences of continuous random variables using WFA-based models, due to the limitation on the expressiveness of the model as well as the tractability of approximating density functions via CWFAs. In this paper, we propose a nonlinear extension to the CWFA model to first improve its expressiveness, we refer to it as the nonlinear continuous WFAs (NCWFAs). Then we leverage the so-called RNADE method, which is a well-known density estimator based on neural networks, and propose the RNADE-NCWFA model. The RNADE-NCWFA model computes a density function by design. We show that this model is strictly more expressive than the Gaussian HMM model, which CWFA cannot approximate. Empirically, we conduct a synthetic experiment using Gaussian HMM generated data. We focus on evaluating the model's ability to estimate densities for sequences of varying lengths (longer length than the training data). We observe that our model performs the best among the compared baseline methods.
• Abstract（参考訳）: 重み付き有限オートマトン(WFAs)は多くの分野に広く応用されている。 WFAの古典的な問題の1つは離散記号列上の確率分布の推定である。 WFAは連続入力データ、すなわち連続WFA(CWFA)を扱うために拡張されているが、モデルの表現性やCWFAによる近似密度関数のトラクタビリティに制限があるため、WFAベースのモデルを用いて連続乱数列上の密度関数をどのように近似するかはいまだ不明である。 本稿では,まずその表現性を改善するために,cwfaモデルへの非線形拡張を提案し,これを非線形連続wfas (ncwfas) と呼ぶ。 次に,ニューラルネットワークに基づくよく知られた密度推定器であるrnade法を活用し,rnade-ncwfaモデルを提案する。 RNADE-NCWFAモデルは、設計により密度関数を計算する。 このモデルは、CWFAでは近似できないガウスHMMモデルよりも厳密に表現可能であることを示す。 実験では,ガウスHMM生成データを用いた合成実験を行った。 本研究では,異なる長さ(トレーニングデータよりも長い)の列の密度を推定するモデルの能力を評価することに注力する。 比較したベースライン手法の中で,本モデルが最良であることを示す。

関連論文リスト

• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• Conditionally-Conjugate Gaussian Process Factor Analysis for Spike Count Data via Data Augmentation [8.114880112033644]
  近年、GPFAはスパイクカウントデータをモデル化するために拡張されている。 本稿では,解析的および計算的抽出可能な推論が可能な条件共役型ガウス過程因子解析(ccGPFA)を提案する。
  論文  参考訳（メタデータ） (2024-05-19T21:53:36Z)
• Deep Latent Force Models: ODE-based Process Convolutions for Bayesian Deep Learning [0.0]
  深潜力モデル (DLFM) は、各層に物理インフォームドカーネルを持つ深いガウス過程である。 我々はDLFMの非線形実世界の時系列データに現れるダイナミクスを捉える能力の実証的証拠を提示する。 DLFMは,非物理インフォームド確率モデルに匹敵する性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-11-24T19:55:57Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• Generative Modeling with Flow-Guided Density Ratio Learning [12.192867460641835]
  Flow-Guided Density Ratio Learning (FDRL)は、生成モデルに対するシンプルでスケーラブルなアプローチである。 我々は,FDRLが128時間128ドルの高次元の画像を生成するとともに,既存の勾配流ベースラインを定量的なベンチマークで上回っていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T07:55:52Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Infinite-Fidelity Coregionalization for Physical Simulation [22.524773932668023]
  多要素モデリングと学習は、物理シミュレーション関連の応用において重要である。 Infinite Fidelity Co Regionalalization (IFC) を提案する。 計算物理学におけるいくつかのベンチマークタスクにおいて,本手法の利点を示す。
  論文  参考訳（メタデータ） (2022-07-01T23:01:10Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。