論文の概要: Regularized Sequential Latent Variable Models with Adversarial Neural
Networks
- arxiv url: http://arxiv.org/abs/2108.04496v1
- Date: Tue, 10 Aug 2021 08:05:14 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-11 14:32:29.817718
- Title: Regularized Sequential Latent Variable Models with Adversarial Neural
Networks
- Title(参考訳): 逆ニューラルネットワークを用いた正則化系列潜時変動モデル
- Authors: Jin Huang, Ming Xiao
- Abstract要約: 逐次データの変動をモデル化するために,RNN で高レベル潜時確率変数を使用する方法を提案する。
変動RNNモデルの学習に逆法を用いる可能性を探る。
- 参考スコア(独自算出の注目度): 33.74611654607262
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The recurrent neural networks (RNN) with richly distributed internal states
and flexible non-linear transition functions, have overtaken the dynamic
Bayesian networks such as the hidden Markov models (HMMs) in the task of
modeling highly structured sequential data. These data, such as from speech and
handwriting, often contain complex relationships between the underlaying
variational factors and the observed data. The standard RNN model has very
limited randomness or variability in its structure, coming from the output
conditional probability model. This paper will present different ways of using
high level latent random variables in RNN to model the variability in the
sequential data, and the training method of such RNN model under the VAE
(Variational Autoencoder) principle. We will explore possible ways of using
adversarial method to train a variational RNN model. Contrary to competing
approaches, our approach has theoretical optimum in the model training and
provides better model training stability. Our approach also improves the
posterior approximation in the variational inference network by a separated
adversarial training step. Numerical results simulated from TIMIT speech data
show that reconstruction loss and evidence lower bound converge to the same
level and adversarial training loss converges to 0.
- Abstract(参考訳): リッチな内部状態と柔軟な非線形遷移関数を持つリカレントニューラルネットワーク(RNN)は、高度に構造化されたシーケンシャルデータをモデル化するタスクにおいて、隠れマルコフモデル(HMM)のような動的ベイズ的ネットワークを追い越している。
これらのデータ(音声や手書きなど)は、下層の変動要因と観測データの間の複雑な関係をしばしば含んでいる。
標準RNNモデルは、出力条件付き確率モデルから得られる、構造において非常に限定的なランダム性または変動性を持つ。
本稿では、逐次データにおける変動をモデル化するために、RNNの高レベル潜在確率変数を使用する方法と、VAE(Variational Autoencoder)の原理に基づくそのようなRNNモデルのトレーニング方法を提案する。
本稿では,変動型rnnモデルの学習に逆行法を利用する可能性について検討する。
競合するアプローチとは対照的に,本手法はモデルトレーニングにおいて理論的に最適であり,モデルトレーニングの安定性が向上する。
本手法は, 分離した逆訓練ステップにより, 変動推論ネットワークの後方近似も改善する。
TIMIT音声データからシミュレーションした数値結果から, 復元損失と証拠値の低下が同一レベルに収束し, 対向訓練損失が0。
関連論文リスト
- Transferable Post-training via Inverse Value Learning [83.75002867411263]
別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。
このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。
得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
論文 参考訳(メタデータ) (2024-10-28T13:48:43Z) - How Inverse Conditional Flows Can Serve as a Substitute for Distributional Regression [2.9873759776815527]
逆流変換(DRIFT)を用いた分布回帰の枠組みを提案する。
DRIFTは解釈可能な統計モデルと柔軟なニューラルネットワークの両方をカバーする。
論文 参考訳(メタデータ) (2024-05-08T21:19:18Z) - Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文 参考訳(メタデータ) (2024-02-19T02:08:09Z) - Recurrent neural networks and transfer learning for elasto-plasticity in
woven composites [0.0]
本稿では, 織物のメソスケールシミュレーションの代用として, リカレントニューラルネットワーク(RNN)モデルを提案する。
平均場モデルは、弾塑性挙動を表す包括的データセットを生成する。
シミュレーションでは、任意の6次元ひずみヒストリーを用いて、ランダムウォーキング時の応力を原課題として、循環荷重条件を目標課題として予測する。
論文 参考訳(メタデータ) (2023-11-22T14:47:54Z) - On Feynman--Kac training of partial Bayesian neural networks [1.6474447977095783]
部分ベイズニューラルネットワーク(pBNN)は、完全なベイズニューラルネットワークと競合することが示されている。
本稿では,Feynman-Kacモデルのシミュレーションとして,pBNNのトレーニングを定式化した効率的なサンプリングベーストレーニング戦略を提案する。
提案手法は, 予測性能において, 技術状況よりも優れることを示す。
論文 参考訳(メタデータ) (2023-10-30T15:03:15Z) - Diffusion-Model-Assisted Supervised Learning of Generative Models for
Density Estimation [10.793646707711442]
本稿では,密度推定のための生成モデルを訓練するためのフレームワークを提案する。
スコアベース拡散モデルを用いてラベル付きデータを生成する。
ラベル付きデータが生成されると、シンプルな完全に接続されたニューラルネットワークをトレーニングして、教師付き方法で生成モデルを学ぶことができます。
論文 参考訳(メタデータ) (2023-10-22T23:56:19Z) - Latent State Models of Training Dynamics [51.88132043461152]
異なるランダムなシードでモデルをトレーニングし、トレーニングを通じてさまざまなメトリクスを計算します。
次に、結果のメトリクス列に隠れマルコフモデル(HMM)を適合させる。
我々はHMM表現を用いて相転移を研究し、収束を遅くする潜伏状態(detour state)を特定する。
論文 参考訳(メタデータ) (2023-08-18T13:20:08Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - Markovian RNN: An Adaptive Time Series Prediction Network with HMM-based
Switching for Nonstationary Environments [11.716677452529114]
本稿では、マルコフ的な方法で内部構造を適応的に切り替え、与えられたデータの非定常特性をモデル化する新しいリカレントニューラルネットワーク(RNN)アーキテクチャを提案する。
我々のモデルであるMarkovian RNNは、レギュレーション遷移に隠れマルコフモデル(HMM)を使用し、各レギュレーションはリカレントセルの隠れ状態遷移を独立に制御する。
我々は,バニラRNNやマルコフスイッチングARIMAのような従来の手法と比較して,大幅な性能向上を示す。
論文 参考訳(メタデータ) (2020-06-17T19:38:29Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳(メタデータ) (2020-06-16T18:45:20Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳(メタデータ) (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。