論文の概要: Disentangled Recurrent Wasserstein Autoencoder
- arxiv url: http://arxiv.org/abs/2101.07496v1
- Date: Tue, 19 Jan 2021 07:43:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-22 11:31:26.092595
- Title: Disentangled Recurrent Wasserstein Autoencoder
- Title（参考訳）: disentangled recurrent wasserstein autoencoder
- Authors: Jun Han, Martin Renqiang Min, Ligong Han, Li Erran Li, Xuan Zhang
- Abstract要約: Recurrent Wasserstein Autoencoder (R-WAE)はシーケンシャルデータの生成モデリングのための新しいフレームワークである。
R-WAEは入力シーケンスの表現を静的および動的因子に切り離す。
私達のモデルは無条件のビデオ生成およびdisentanglementの点では同じ設定の他のベースラインを上回ります。
- 参考スコア（独自算出の注目度）: 17.769077848342334
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning disentangled representations leads to interpretable models and
facilitates data generation with style transfer, which has been extensively
studied on static data such as images in an unsupervised learning framework.
However, only a few works have explored unsupervised disentangled sequential
representation learning due to challenges of generating sequential data. In
this paper, we propose recurrent Wasserstein Autoencoder (R-WAE), a new
framework for generative modeling of sequential data. R-WAE disentangles the
representation of an input sequence into static and dynamic factors (i.e.,
time-invariant and time-varying parts). Our theoretical analysis shows that,
R-WAE minimizes an upper bound of a penalized form of the Wasserstein distance
between model distribution and sequential data distribution, and simultaneously
maximizes the mutual information between input data and different disentangled
latent factors, respectively. This is superior to (recurrent) VAE which does
not explicitly enforce mutual information maximization between input data and
disentangled latent representations. When the number of actions in sequential
data is available as weak supervision information, R-WAE is extended to learn a
categorical latent representation of actions to improve its disentanglement.
Experiments on a variety of datasets show that our models outperform other
baselines with the same settings in terms of disentanglement and unconditional
video generation both quantitatively and qualitatively.
- Abstract（参考訳）: 不連続表現の学習は解釈可能なモデルにつながり、教師なし学習フレームワークで画像などの静的データに対して広く研究されてきたスタイル転送によるデータ生成を促進する。
しかし、逐次データ生成の難しさから教師なし不規則な逐次表現学習を探求した著作はごくわずかである。
本稿では,逐次データの生成モデリングのための新しいフレームワークであるrecurrent wasserstein autoencoder (r-wae)を提案する。
r-waeは入力列の表現を静的および動的因子(すなわち時間不変および時間変動部分)に分解する。
理論的解析により,R-WAEはモデル分布と逐次データ分布のワッサーシュタイン距離のペナル化形式の上限を最小化し,入力データと異なる非絡み合い要因の相互情報を同時に最大化することを示した。
これは入力データと不連続な潜在表現の間の相互情報最大化を明示的に強制しないvae(recurrent)よりも優れている。
シーケンシャルデータにおけるアクションの数が弱い監視情報として利用できる場合、R-WAEは、その歪みを改善するために、アクションのカテゴリー的潜在表現を学習するように拡張される。
様々なデータセットの実験により、我々のモデルは、定量的にも質的にも、無条件のビデオ生成において、同じ設定で他のベースラインよりも優れていることが示された。
関連論文リスト
- ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。
我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文 参考訳（メタデータ） (2023-04-07T15:17:48Z) - Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。
我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。
本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文 参考訳（メタデータ） (2022-05-16T07:53:42Z) - Contrastively Disentangled Sequential Variational Autoencoder [20.75922928324671]
本稿では,C-DSVAE(Contrastively Disentangled Sequential Variational Autoencoder)という新しいシーケンス表現学習手法を提案する。
我々は,静的因子と動的因子の相互情報をペナルティ化しながら,入力と潜伏因子の相互情報を最大化する新しいエビデンスローバウンドを用いる。
実験の結果、C-DSVAEは従来の最先端の手法よりも優れていたことが判明した。
論文 参考訳（メタデータ） (2021-10-22T23:00:32Z) - PIETS: Parallelised Irregularity Encoders for Forecasting with
Heterogeneous Time-Series [5.911865723926626]
マルチソースデータセットの不均一性と不規則性は時系列解析において重要な課題となる。
本研究では、異種時系列をモデル化するための新しいアーキテクチャ、PIETSを設計する。
PIETSは異種時間データを効果的にモデル化し、予測タスクにおける他の最先端手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2021-09-30T20:01:19Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - On the Efficacy of Adversarial Data Collection for Question Answering:
Results from a Large-Scale Randomized Study [65.17429512679695]
逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。
ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
論文 参考訳（メタデータ） (2021-06-02T00:48:33Z) - Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。
我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。
CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2021-05-18T15:13:00Z) - Deep Time Series Models for Scarce Data [8.673181404172963]
時系列データは多くの領域で爆発的な速度で成長し、時系列モデリング研究の急増を刺激している。
データ希少性は、膨大なデータ分析の問題で発生する普遍的な問題です。
論文 参考訳（メタデータ） (2021-03-16T22:16:54Z) - On Disentanglement in Gaussian Process Variational Autoencoders [3.403279506246879]
時系列データ上で異なるタスクに成功しているモデルを最近導入した。
本モデルでは,各潜伏チャネルをGP前にモデル化し,構造的変動分布を用いることで,データの時間的構造を利用する。
実世界の医療時系列データから有意義な不整合表現を学習できる証拠を提供する。
論文 参考訳（メタデータ） (2021-02-10T15:49:27Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z) - Conditional Mutual information-based Contrastive Loss for Financial Time
Series Forecasting [12.0855096102517]
金融時系列予測のための表現学習フレームワークを提案する。
本稿では、まず時系列データからコンパクトな表現を学習し、次に学習した表現を用いて、時系列の動きを予測するためのより単純なモデルを訓練する。
論文 参考訳（メタデータ） (2020-02-18T15:24:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。