論文の概要: Expressivity of Hidden Markov Chains vs. Recurrent Neural Networks from
a system theoretic viewpoint
- arxiv url: http://arxiv.org/abs/2208.08175v1
- Date: Wed, 17 Aug 2022 09:23:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-18 13:28:27.088749
- Title: Expressivity of Hidden Markov Chains vs. Recurrent Neural Networks from
a system theoretic viewpoint
- Title(参考訳): 隠れマルコフ連鎖対リカレントニューラルネットワークのシステム理論的観点からの表現性
- Authors: Fran\c{c}ois Desbouvries (TSP), Yohan Petetin (TSP), Achille Sala\"un
- Abstract要約: まず,Hydden Markov Chains (HMC) と Recurrent Neural Networks (RNN) を生成モデルとみなす。
両構造を共通生成統一モデル(GUM)に組み込む。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hidden Markov Chains (HMC) and Recurrent Neural Networks (RNN) are two well
known tools for predicting time series. Even though these solutions were
developed independently in distinct communities, they share some similarities
when considered as probabilistic structures. So in this paper we first consider
HMC and RNN as generative models, and we embed both structures in a common
generative unified model (GUM). We next address a comparative study of the
expressivity of these models. To that end we assume that the models are
furthermore linear and Gaussian. The probability distributions produced by
these models are characterized by structured covariance series, and as a
consequence expressivity reduces to comparing sets of structured covariance
series, which enables us to call for stochastic realization theory (SRT). We
finally provide conditions under which a given covariance series can be
realized by a GUM, an HMC or an RNN.
- Abstract(参考訳): Hidden Markov Chains (HMC) と Recurrent Neural Networks (RNN) は時系列を予測するツールとしてよく知られている。
これらの解は独立したコミュニティで独自に開発されたが、確率的構造と見なすといくつかの類似点を共有している。
そこで本稿では,まずHMCとRNNを生成モデルとみなし,両構造を共通生成統一モデル(GUM)に組み込む。
次に,これらのモデルの表現性の比較研究を行う。
そのために、モデルはさらに線型でガウス的であると仮定する。
これらのモデルによって生成される確率分布は構造化共分散級数によって特徴づけられ、結果として表現性は構造共分散級数の集合の比較に減少する。
最終的に、与えられた共分散級数が GUM, HMC, RNN によって実現可能な条件を提供する。
関連論文リスト
- Discrete Diffusion Modeling by Estimating the Ratios of the Data
Distribution [76.33705947080871]
離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。
標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
論文 参考訳(メタデータ) (2023-10-25T17:59:12Z) - Generative Modeling of Regular and Irregular Time Series Data via
Koopman VAEs [53.91784369229405]
モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。
クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。
以上の結果から,KVAEは,合成および実世界の時系列生成ベンチマークにおいて,最先端のGAN法およびVAE法よりも優れていた。
論文 参考訳(メタデータ) (2023-10-04T07:14:43Z) - Satellite Anomaly Detection Using Variance Based Genetic Ensemble of
Neural Networks [7.848121055546167]
複数のリカレントニューラルネットワーク(RNN)からの予測の効率的なアンサンブルを用いる。
予測のために、各RNNモデルに対して最適な構造を構築する遺伝的アルゴリズム(GA)によって、各RNNを導出する。
本稿では,BNNの近似版としてモンテカルロ(MC)ドロップアウトを用いる。
論文 参考訳(メタデータ) (2023-02-10T22:09:00Z) - Triadic Temporal Exponential Random Graph Models (TTERGM) [1.7622199879654878]
TERGMは、複雑なネットワークにおけるエッジ形成と除去の時間パターンを推測するために用いられる。
我々は,我々のTTERGMモデルが,GitHubのネットワークデータ上でのベンチマーク手法と比較して,精度の向上と精度の向上を実現していることを示す。
論文 参考訳(メタデータ) (2022-11-29T14:07:29Z) - Bayesian Structure Learning with Generative Flow Networks [85.84396514570373]
ベイズ構造学習では、データから有向非巡回グラフ(DAG)上の分布を推定することに興味がある。
近年,ジェネレーティブ・フロー・ネットワーク(GFlowNets)と呼ばれる確率モデルのクラスが,ジェネレーティブ・モデリングの一般的なフレームワークとして紹介されている。
DAG-GFlowNetと呼ばれる本手法は,DAGよりも後方の正確な近似を提供する。
論文 参考訳(メタデータ) (2022-02-28T15:53:10Z) - Continual Learning with Fully Probabilistic Models [70.3497683558609]
機械学習の完全確率的(または生成的)モデルに基づく継続的学習のアプローチを提案する。
生成器と分類器の両方に対してガウス混合モデル(GMM)インスタンスを用いた擬似リハーサル手法を提案する。
我々は,GMRが,クラス増分学習問題に対して,非常に競合的な時間とメモリの複雑さで,最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2021-04-19T12:26:26Z) - Anomaly Detection of Time Series with Smoothness-Inducing Sequential
Variational Auto-Encoder [59.69303945834122]
Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。
我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。
合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
論文 参考訳(メタデータ) (2021-02-02T06:15:15Z) - Variational Mixture of Normalizing Flows [0.0]
生成逆数ネットワークオートサイトGAN、変分オートエンコーダオートサイトベイペーパー、およびそれらの変種などの深い生成モデルは、複雑なデータ分布をモデル化するタスクに広く採用されている。
正規化フローはこの制限を克服し、確率密度関数にそのような公式の変更を利用する。
本研究は,混合モデルのコンポーネントとして正規化フローを用い,そのようなモデルのエンドツーエンドトレーニング手順を考案することによって,この問題を克服する。
論文 参考訳(メタデータ) (2020-09-01T17:20:08Z) - Consistency of Spectral Clustering on Hierarchical Stochastic Block
Models [5.983753938303726]
実世界のネットワークにおけるコミュニティの階層構造について,汎用ブロックモデルを用いて検討する。
本手法の強い一貫性を,幅広いモデルパラメータで証明する。
既存のほとんどの研究とは異なり、我々の理論は接続確率が桁違いに異なるかもしれないマルチスケールネットワークをカバーしている。
論文 参考訳(メタデータ) (2020-04-30T01:08:59Z) - GANs with Conditional Independence Graphs: On Subadditivity of
Probability Divergences [70.30467057209405]
GAN(Generative Adversarial Networks)は、データセットの基盤となる分布を学習するための現代的な手法である。
GANは、基礎となるディストリビューションに関する追加情報がないモデルフリーで設計されている。
本稿では,ベイズネット/MRFの近傍に単純な識別器群を用いたモデルベースGANの設計を提案する。
論文 参考訳(メタデータ) (2020-03-02T04:31:22Z) - Struct-MMSB: Mixed Membership Stochastic Blockmodels with Interpretable
Structured Priors [13.712395104755783]
混合メンバシップブロックモデル(MMSB)は、コミュニティ検出とネットワーク生成のための一般的なフレームワークである。
最近開発された統計リレーショナル学習モデルであるヒンジロスマルコフ確率場(HL-MRF)を用いた柔軟なMMSBモデル、textitStruct-MMSBを提案する。
我々のモデルは、観測された特徴と会員分布の複雑な組み合わせとして符号化された有意義な潜伏変数を用いて、実世界のネットワークにおける潜伏特性を学習することができる。
論文 参考訳(メタデータ) (2020-02-21T19:32:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。