論文の概要: On the Impact of Sampling on Deep Sequential State Estimation

• arxiv url: http://arxiv.org/abs/2311.17006v1
• Date: Tue, 28 Nov 2023 17:59:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 17:12:51.951567
• Title: On the Impact of Sampling on Deep Sequential State Estimation
• Title（参考訳）: サンプリングが深い逐次状態推定に及ぼす影響について
• Authors: Helena Calatrava and Ricardo Augusto Borsoi and Tales Imbiriba and Pau Closas
• Abstract要約: 逐次モデルにおける状態推定とパラメータ学習は近似手法を用いてうまく行うことができる。 モンテカルロの厳密な目的は、生成的モデリング性能を向上させるために文献で提案されている。
• 参考スコア（独自算出の注目度）: 17.92198582435315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State inference and parameter learning in sequential models can be successfully performed with approximation techniques that maximize the evidence lower bound to the marginal log-likelihood of the data distribution. These methods may be referred to as Dynamical Variational Autoencoders, and our specific focus lies on the deep Kalman filter. It has been shown that the ELBO objective can oversimplify data representations, potentially compromising estimation quality. Tighter Monte Carlo objectives have been proposed in the literature to enhance generative modeling performance. For instance, the IWAE objective uses importance weights to reduce the variance of marginal log-likelihood estimates. In this paper, importance sampling is applied to the DKF framework for learning deep Markov models, resulting in the IW-DKF, which shows an improvement in terms of log-likelihood estimates and KL divergence between the variational distribution and the transition model. The framework using the sampled DKF update rule is also accommodated to address sequential state and parameter estimation when working with highly non-linear physics-based models. An experiment with the 3-space Lorenz attractor shows an enhanced generative modeling performance and also a decrease in RMSE when estimating the model parameters and latent states, indicating that tighter MCOs lead to improved state inference performance.
• Abstract（参考訳）: 逐次モデルにおける状態推定とパラメータ学習は、データ分布の辺りの対数類似度に制限された証拠を最大化する近似手法で成功する。 これらの手法は動的変分オートエンコーダ(Dynamical Variational Autoencoders)と呼ばれ、我々はディープカルマンフィルタに注目している。 elboの目標はデータ表現を単純化し、推定品質を損なう可能性がある。 モンテカルロの厳密な目的は、生成的モデリング性能を向上させるために文献で提案されている。 例えば、IWAEの目的は、限界対数類似度推定のばらつきを減らすために重要重量を使用する。 本稿では,深いマルコフモデルを学ぶためのdkfフレームワークに重要サンプリングを適用し,iw-dkfを用いて,変分分布と遷移モデルとのkl発散とログ類似度推定の改善を示す。 サンプルDKF更新規則を用いたフレームワークは、高非線形物理モデルを扱う場合の逐次状態とパラメータ推定にも適用可能である。 3空間ロレンツ誘引器を用いた実験では、モデルパラメータと潜時状態の推定時のRMSEの低減が図られ、より厳密なMCOが状態推論性能の向上につながることが示された。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• Minimizing Energy Costs in Deep Learning Model Training: The Gaussian Sampling Approach [11.878350833222711]
  ガウス分布からの勾配更新をサンプリングするために, em GradSamp という手法を提案する。 Em GradSampは、勾配の合理化だけでなく、エポック全体のスキップを可能にし、全体的な効率を向上させる。 我々は、標準CNNとトランスフォーマーベースモデルの多種多様なセットにまたがって、我々の仮説を厳格に検証する。
  論文  参考訳（メタデータ） (2024-06-11T15:01:20Z)
• Reliable Trajectory Prediction and Uncertainty Quantification with Conditioned Diffusion Models [11.308331231957588]
  本研究は, 拡散モデルを用いた高速道路軌道予測のための新しいネットワークアーキテクチャである, 条件付き車両運動拡散(cVMD)モデルを紹介する。 cVMDのアーキテクチャの中心は、安全クリティカルなアプリケーションにおいて重要な機能である不確実な定量化を実行する能力である。 実験により,提案アーキテクチャは最先端モデルと比較して,競合軌道予測精度が向上することが示された。
  論文  参考訳（メタデータ） (2024-05-23T10:01:39Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Perimeter Control Using Deep Reinforcement Learning: A Model-free Approach towards Homogeneous Flow Rate Optimization [28.851432612392436]
  周辺制御は、交通密度が臨界値以下であることを保証するため、地域間の移動フローを制御することにより、保護領域内の交通効率を高く維持する。 既存のアプローチは、ネットワーク伝送モデル(NTM)とマクロ基礎図(MFD)に依存するかによって、モデルベースまたはモデルフリーに分類することができる。
  論文  参考訳（メタデータ） (2023-05-29T21:22:08Z)
• Diffusion Causal Models for Counterfactual Estimation [18.438307666925425]
  本稿では,観測画像データから因果構造を推定する作業について考察する。 Diff-SCMは,近年の発電エネルギーモデルの発展を基盤とした構造因果モデルである。 Diff-SCMはMNISTデータに基づくベースラインよりも現実的で最小限のデファクトアルを生成しており、ImageNetデータにも適用可能である。
  論文  参考訳（メタデータ） (2022-02-21T12:23:01Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
  Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。 LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
  論文  参考訳（メタデータ） (2020-02-12T18:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。