論文の概要: FRMDN: Flow-based Recurrent Mixture Density Network

• arxiv url: http://arxiv.org/abs/2008.02144v1
• Date: Wed, 5 Aug 2020 14:05:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 17:36:42.576559
• Title: FRMDN: Flow-based Recurrent Mixture Density Network
• Title（参考訳）: FRMDN:フローベースリカレント混合密度ネットワーク
• Authors: Seyedeh Fatemeh Razavi and Reshad Hosseini
• Abstract要約: リカレント混合密度ネットワーク(RMDN)は、リカレントニューラルネットワーク(RNN)とガウス混合モデル(GMM)の2つの主要部分から構成される。 本稿では,RMDN の各精度行列 (共分散行列の逆) に対する結合構成を $((Sigma _k - 1 = UD_kU))$ とみなす。 Flow$-$ベースのニューラルネットワークは、分散を変換できる生成モデルの新たなグループである。
• 参考スコア（独自算出の注目度）: 3.553493344868413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recurrent Mixture Density Networks (RMDNs) are consisted of two main parts: a Recurrent Neural Network (RNN) and a Gaussian Mixture Model (GMM), in which a kind of RNN (almost LSTM) is used to find the parameters of a GMM in every time step. While available RMDNs have been faced with different difficulties. The most important of them is high$-$dimensional problems. Since estimating the covariance matrix for the high$-$dimensional problems is more difficult, due to existing correlation between dimensions and satisfying the positive definition condition. Consequently, the available methods have usually used RMDN with a diagonal covariance matrix for high$-$dimensional problems by supposing independence among dimensions. Hence, in this paper with inspiring a common approach in the literature of GMM, we consider a tied configuration for each precision matrix (inverse of the covariance matrix) in RMDN as $(\(\Sigma _k^{ - 1} = U{D_k}U\))$ to enrich GMM rather than considering a diagonal form for it. But due to simplicity, we assume $\(U\)$ be an Identity matrix and $\(D_k\)$ is a specific diagonal matrix for $\(k^{th}\)$ component. Until now, we only have a diagonal matrix and it does not differ with available diagonal RMDNs. Besides, Flow$-$based neural networks are a new group of generative models that are able to transform a distribution to a simpler distribution and vice versa, through a sequence of invertible functions. Therefore, we applied a diagonal GMM on transformed observations. At every time step, the next observation, $\({y_{t + 1}}\)$, has been passed through a flow$-$based neural network to obtain a much simpler distribution. Experimental results for a reinforcement learning problem verify the superiority of the proposed method to the base$-$line method in terms of Negative Log$-$Likelihood (NLL) for RMDN and the cumulative reward for a controller with fewer population size.
• Abstract（参考訳）: リカレント混合密度ネットワーク(rmdns)は、リカレントニューラルネットワーク(rnn)とガウス混合モデル(gmm)の2つの主要部分から構成されており、各時間ステップでgmmのパラメータを見つけるために、ある種のrnn(ほぼlstm)が使用される。 RMDNは利用可能なが、様々な困難に直面している。 それらの中で最も重要な問題は高$2次元問題である。 高$-$次元問題に対する共分散行列の推定は、既存の次元間の相関と正の定義条件を満たすため、より困難である。 したがって、利用可能な方法は通常、次元間の独立性を仮定して高次元問題に対して対角共分散行列を持つ RMDN を用いる。 したがって、gmmの文献に共通するアプローチに触発された本論文では、rmdn 内の各精度行列(共分散行列の逆)に対する結合構成を、その対角形を考えるよりも gmm の強化に$(\(\sigma _k^{ - 1} = u{d_k}u\))$とする。 しかし単純さから、$\(U\)$をアイデンティティ行列とし、$(D_k\)$を$(k^{th}\)$コンポーネントの特定の対角行列と仮定する。 これまでは対角行列しか持たず、利用可能な対角 RMDN と異なりません。 さらに、Flow$$ベースのニューラルネットワークは、分布をより単純な分布に変換することができ、逆もまた、可逆関数のシーケンスを通じて、生成モデルの新たなグループである。 そこで,変換観測に対角GMMを適用した。 あらゆる時間ステップにおいて、次の観測値である$\({y_{t + 1}}\)$ はフロー$-$ベースのニューラルネットワークを通してより単純な分布を得る。 強化学習問題に対する実験結果は, rmdnに対する負のlog$-$likelihood (nll) と, 人口サイズの少ないコントローラに対する累積報酬の点において, ベース$-$line法に対する提案手法の優位性を検証する。

関連論文リスト

• Latent Space Energy-based Neural ODEs [73.01344439786524]
  本稿では,連続時間シーケンスデータを表現するために設計された深部力学モデルの新しいファミリを紹介する。 マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。 発振システム、ビデオ、実世界の状態シーケンス(MuJoCo)の実験は、学習可能なエネルギーベース以前のODEが既存のものより優れていることを示している。
  論文  参考訳（メタデータ） (2024-09-05T18:14:22Z)
• Fusion of Gaussian Processes Predictions with Monte Carlo Sampling [61.31380086717422]
  科学と工学において、私たちはしばしば興味のある変数の正確な予測のために設計されたモデルで作業します。 これらのモデルが現実の近似であることを認識し、複数のモデルを同じデータに適用し、結果を統合することが望ましい。
  論文  参考訳（メタデータ） (2024-03-03T04:21:21Z)
• Stochastic normalizing flows as non-equilibrium transformations [62.997667081978825]
  正規化フローは従来のモンテカルロシミュレーションよりも効率的に格子場理論をサンプリングするための経路を提供することを示す。 本稿では,この拡張された生成モデルの効率を最適化する戦略と応用例を示す。
  論文  参考訳（メタデータ） (2022-01-21T19:00:18Z)
• Moser Flow: Divergence-based Generative Modeling on Manifolds [49.04974733536027]
  Moser Flow (MF) は連続正規化フロー(CNF)ファミリーにおける新しい生成モデルのクラスである MFは、訓練中にODEソルバを介して呼び出しやバックプロパゲートを必要としない。 一般曲面からのサンプリングにおけるフローモデルの利用を初めて実演する。
  論文  参考訳（メタデータ） (2021-08-18T09:00:24Z)
• Dynamic Gaussian Mixture based Deep Generative Model For Robust Forecasting on Sparse Multivariate Time Series [43.86737761236125]
  本研究では,孤立した特徴表現ではなく,潜在クラスタの遷移を追跡する新しい生成モデルを提案する。 新たに設計された動的ガウス混合分布が特徴であり、クラスタリング構造のダイナミクスを捉えている。 帰納的解析を可能にするために構造化推論ネットワークも設計されている。
  論文  参考訳（メタデータ） (2021-03-03T04:10:07Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Variational Mixture of Normalizing Flows [0.0]
  生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。 正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。 本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
  論文  参考訳（メタデータ） (2020-09-01T17:20:08Z)
• Graph Gamma Process Generalized Linear Dynamical Systems [60.467040479276704]
  実マルチ変数時系列をモデル化するために,グラフガンマ過程(GGP)線形力学系を導入する。 時間的パターン発見のために、モデルの下での潜在表現は、時系列を多変量部分列の同相集合に分解するために使用される。 非零次ノード数が有限であるランダムグラフを用いて、潜時状態遷移行列の空間パターンと次元の両方を定義する。
  論文  参考訳（メタデータ） (2020-07-25T04:16:34Z)
• Estimation of sparse Gaussian graphical models with hidden clustering structure [8.258451067861932]
  隠れクラスタリング構造を持つスパースガウス図形モデルを推定するモデルを提案する。 対称なガウス・シーデルに基づく乗算器の交互方向法を開発した。 合成データと実データの両方に関する数値実験により,本モデルの有効性が示された。
  論文  参考訳（メタデータ） (2020-04-17T08:43:31Z)
• Closing the Dequantization Gap: PixelCNN as a Single-Layer Flow [16.41460104376002]
  有限体積を変換し、離散データに対する確率の正確な計算を可能にするサブセットフローを導入する。 我々は、WaveNets、PixelCNNs、Transformersを含む通常の離散自己回帰モデルを単層フローとして識別する。 我々は, CIFAR-10 を用いて, 脱量子化を訓練した流れモデルについて, 実測結果を示す。
  論文  参考訳（メタデータ） (2020-02-06T22:58:51Z)
• Learning Generative Models using Denoising Density Estimators [29.068491722778827]
  縮退密度推定器(DDE)に基づく新しい生成モデルを提案する。 我々の主な貢献は、KL分割を直接最小化することで生成モデルを得る新しい技術である。 実験結果から, 生成モデル学習における密度推定と競争性能が大幅に向上した。
  論文  参考訳（メタデータ） (2020-01-08T20:30:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。