論文の概要: Interpretable Latent Variables in Deep State Space Models

• arxiv url: http://arxiv.org/abs/2203.02057v1
• Date: Thu, 3 Mar 2022 23:10:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 00:58:56.713225
• Title: Interpretable Latent Variables in Deep State Space Models
• Title（参考訳）: 深部状態空間モデルにおける解釈可能な潜在変数
• Authors: Haoxuan Wu, David S. Matteson and Martin T. Wells
• Abstract要約: 我々は、時系列データを予測するために、リカレントニューラルネットワークと状態空間フレームワークを組み合わせたディープステートスペースモデル(DSSM)の新バージョンを導入する。 このモデルは、観測された系列を、時間を通して非線形に進化する潜在変数の関数として推定する。
• 参考スコア（独自算出の注目度）: 4.884336328409872
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a new version of deep state-space models (DSSMs) that combines a recurrent neural network with a state-space framework to forecast time series data. The model estimates the observed series as functions of latent variables that evolve non-linearly through time. Due to the complexity and non-linearity inherent in DSSMs, previous works on DSSMs typically produced latent variables that are very difficult to interpret. Our paper focus on producing interpretable latent parameters with two key modifications. First, we simplify the predictive decoder by restricting the response variables to be a linear transformation of the latent variables plus some noise. Second, we utilize shrinkage priors on the latent variables to reduce redundancy and improve robustness. These changes make the latent variables much easier to understand and allow us to interpret the resulting latent variables as random effects in a linear mixed model. We show through two public benchmark datasets the resulting model improves forecasting performances.
• Abstract（参考訳）: 本稿では,リカレントニューラルネットワークと状態空間フレームワークを組み合わせて時系列データを予測する深層状態空間モデル(dssms)の新バージョンを提案する。 モデルは観測された系列を、時間を通して非線形に進化する潜在変数の関数として推定する。 DSSMに固有の複雑さと非線形性のため、DSSMに関する以前の研究は通常、解釈するのが非常に難しい潜伏変数を生成していた。 本稿は,2つのキー変更による解釈可能な潜在パラメータの生成に焦点をあてる。 まず、応答変数を潜在変数の線形変換に制限し、いくつかのノイズを伴って予測デコーダを単純化する。 第2に,潜伏変数の縮小先行値を用いて冗長性を低減し,ロバスト性を向上させる。 これらの変化により、潜在変数はより理解しやすくなり、結果として生じる潜在変数を線形混合モデルにおけるランダムな効果として解釈することができる。 2つの公開ベンチマークデータセットを通して、結果のモデルが予測性能を改善することを示す。

関連論文リスト

• Timer-XL: Long-Context Transformers for Unified Time Series Forecasting [67.83502953961505]
  我々は時系列の統一予測のための生成変換器Timer-XLを提案する。 Timer-XLは、統一されたアプローチにより、挑戦的な予測ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-07T07:27:39Z)
• A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
  ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。 本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。 また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-06T18:18:37Z)
• Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation [85.5379146125199]
  変分自動エンコーダ(VAE)はテキスト生成において広く採用されている。 本稿ではトランスフォーマーをベースとしたリカレントVAE構造であるTRACEを提案する。
  論文  参考訳（メタデータ） (2022-10-22T10:25:35Z)
• Learning and Inference in Sparse Coding Models with Langevin Dynamics [3.0600309122672726]
  本稿では確率的潜在変数モデルで推論と学習が可能なシステムについて述べる。 ランゲヴィン力学を用いて潜伏変数を推論する連続時間方程式を導出することにより、スパース符号化モデルのこのアイデアを実証する。 ランゲヴィン力学は、L1ノルムが小さいのに対して、潜伏変数をゼロにすることを推奨する'L0スパース'系において、後続分布からサンプリングする効率的な手順をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-04-23T23:16:47Z)
• Double Control Variates for Gradient Estimation in Discrete Latent Variable Models [32.33171301923846]
  スコア関数推定器の分散化手法を提案する。 我々の推定器は、他の最先端推定器と比較してばらつきが低いことを示す。
  論文  参考訳（メタデータ） (2021-11-09T18:02:42Z)
• Discrete Auto-regressive Variational Attention Models for Text Modeling [53.38382932162732]
  変分オートエンコーダ(VAE)はテキストモデリングに広く応用されている。 情報不足と後部崩壊という2つの課題に悩まされている。 本稿では,自己回帰変動注意モデル(DAVAM)を提案する。
  論文  参考訳（メタデータ） (2021-06-16T06:36:26Z)
• Deep Switching State Space Model (DS$^3$M) for Nonlinear Time Series Forecasting with Regime Switching [3.3970049571884204]
  本稿では,非線形時系列の効率的な推測と予測を行うための切替状態空間モデル(DS$3$M)を提案する。 レギュラー間のスイッチングは、離散変数と連続変数の両方によって、繰り返しニューラルネットワークによって捉えられる。
  論文  参考訳（メタデータ） (2021-06-04T08:25:47Z)
• Bayesian neural networks and dimensionality reduction [4.039245878626346]
  そのような問題に対するモデルに基づくアプローチのクラスは、未知の非線形回帰関数における潜在変数を含む。 VAEは、近似を用いて計算をトラクタブルにする人工知能ニューラルネットワーク(ANN)である。 潜在変数を持つANNモデルにおいて,マルコフ連鎖モンテカルロサンプリングアルゴリズムをベイズ推定のために展開する。
  論文  参考訳（メタデータ） (2020-08-18T17:11:07Z)
• Relaxed-Responsibility Hierarchical Discrete VAEs [3.976291254896486]
  textitRelaxed-Responsibility Vector-Quantisationを導入する。 我々は、様々な標準データセットに対して、最先端のビット/ディミット結果を得る。
  論文  参考訳（メタデータ） (2020-07-14T19:10:05Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Variational Hyper RNN for Sequence Modeling [69.0659591456772]
  本稿では,時系列データにおける高変数の取得に優れる新しい確率的シーケンスモデルを提案する。 提案手法では,時間潜時変数を用いて基礎となるデータパターンに関する情報をキャプチャする。 提案手法の有効性を,合成および実世界のシーケンシャルデータに示す。
  論文  参考訳（メタデータ） (2020-02-24T19:30:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。