論文の概要: Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling
- arxiv url: http://arxiv.org/abs/2010.13187v3
- Date: Mon, 04 Nov 2024 00:16:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-08 19:37:01.596984
- Title: Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling
- Title（参考訳）: 多段階モデリングによるアンタングル表現学習者の再構築
- Authors: Akash Srivastava, Yamini Bansal, Yukun Ding, Cole Lincoln Hurwitz, Kai Xu, Bernhard Egger, Prasanna Sattigeri, Joshua B. Tenenbaum, Agus Sudjianto, Phuong Le, Arun Prakash R, Nengfeng Zhou, Joel Vaughan, Yaqun Wang, Anwesha Bhattacharyya, Kristjan Greenewald, David D. Cox, Dan Gutfreund,
- Abstract要約: 現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
- 参考スコア（独自算出の注目度）: 54.94763543386523
- License:
- Abstract: Current autoencoder-based disentangled representation learning methods achieve disentanglement by penalizing the (aggregate) posterior to encourage statistical independence of the latent factors. This approach introduces a trade-off between disentangled representation learning and reconstruction quality since the model does not have enough capacity to learn correlated latent variables that capture detail information present in most image data. To overcome this trade-off, we present a novel multi-stage modeling approach where the disentangled factors are first learned using a penalty-based disentangled representation learning method; then, the low-quality reconstruction is improved with another deep generative model that is trained to model the missing correlated latent variables, adding detail information while maintaining conditioning on the previously learned disentangled factors. Taken together, our multi-stage modelling approach results in a single, coherent probabilistic model that is theoretically justified by the principal of D-separation and can be realized with a variety of model classes including likelihood-based models such as variational autoencoders, implicit models such as generative adversarial networks, and tractable models like normalizing flows or mixtures of Gaussians. We demonstrate that our multi-stage model has higher reconstruction quality than current state-of-the-art methods with equivalent disentanglement performance across multiple standard benchmarks. In addition, we apply the multi-stage model to generate synthetic tabular datasets, showcasing an enhanced performance over benchmark models across a variety of metrics. The interpretability analysis further indicates that the multi-stage model can effectively uncover distinct and meaningful features of variations from which the original distribution can be recovered.
- Abstract（参考訳）: 現在の自己エンコーダに基づく非絡み合い表現学習法は、後部(アグリゲート)をペナル化して、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
このアプローチは、ほとんどの画像データに存在する詳細情報をキャプチャする相関潜伏変数を学習するのに十分な能力を持っていないため、不整合表現学習と再構成品質のトレードオフを導入する。
このトレードオフを克服するために、ペナルティに基づく非絡み合い表現学習法を用いて、まず非絡み合い因子を学習する新しい多段階モデリング手法を提案する。
D-分離の原理によって理論的に正当化され、変分自己エンコーダや生成逆数ネットワークのような暗黙的モデル、正規化フローやガウスの混合物のようなトラクタブルモデルを含む様々なモデルクラスで実現できる。
提案するマルチステージモデルは,複数の標準ベンチマークにおいて等価なアンタングル性能を有する現在の最先端手法よりも高い再現性を有することを示す。
さらに,マルチステージモデルを用いて合成表付きデータセットを生成することにより,ベンチマークモデルに対する各種メトリクスの性能向上を示す。
さらに, 解釈可能性解析により, 多段階モデルにより, 元の分布を復元できる変分の特徴を効果的に発見できることが示唆された。
関連論文リスト
- Embedding-based statistical inference on generative models [10.948308354932639]
生成モデルの埋め込みに基づく表現に関する結果を、古典的な統計的推論設定に拡張する。
類似」の概念の基盤として視点空間を用いることは、複数のモデルレベルの推論タスクに有効であることを示す。
論文 参考訳（メタデータ） (2024-10-01T22:28:39Z) - Predictive Modeling in the Reservoir Kernel Motif Space [0.9217021281095907]
本研究では,線形貯水池のカーネルビューに基づく時系列予測手法を提案する。
我々は、我々のアプローチがコア貯水池モデルとどのように関係しているかについての光を遮蔽するアプローチの幾何学的解釈を提供する。
実験では,提案モデルの予測性能と最近の最先端変圧器モデルとの比較を行った。
論文 参考訳（メタデータ） (2024-05-11T16:12:25Z) - Revealing Multimodal Contrastive Representation Learning through Latent
Partial Causal Models [85.67870425656368]
マルチモーダルデータに特化して設計された統一因果モデルを提案する。
マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。
実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
論文 参考訳（メタデータ） (2024-02-09T07:18:06Z) - ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。
我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文 参考訳（メタデータ） (2023-04-07T15:17:48Z) - Bayesian Additive Main Effects and Multiplicative Interaction Models
using Tensor Regression for Multi-environmental Trials [0.0]
本稿では,複数の因子が表現型予測に与える影響を考慮したベイズテンソル回帰モデルを提案する。
我々は、モデルのパラメータ間で生じる可能性のある識別可能性の問題を解決するための、事前分布のセットを採用する。
我々は2010年から2019年までのアイルランドにおける小麦生産に関する実世界のデータを分析して、我々のモデルの適用性を探る。
論文 参考訳（メタデータ） (2023-01-09T19:54:50Z) - Investigating Ensemble Methods for Model Robustness Improvement of Text
Classifiers [66.36045164286854]
既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。
適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
論文 参考訳（メタデータ） (2022-10-28T17:52:10Z) - De-Biasing Generative Models using Counterfactual Methods [0.0]
我々はCausal Counterfactual Generative Model (CCGM) と呼ばれる新しいデコーダベースのフレームワークを提案する。
提案手法は,因果関係の忠実さを強調するために,因果関係の潜在空間VAEモデルと特定の修正を加えたものである。
因果的学習と符号化/復号化が因果的介入の質をいかに高めるかを検討する。
論文 参考訳（メタデータ） (2022-07-04T16:53:20Z) - Discriminative Multimodal Learning via Conditional Priors in Generative
Models [21.166519800652047]
本研究は,モデルトレーニングにおいて,すべてのモダリティとクラスラベルが利用できる現実的なシナリオについて研究する。
このシナリオでは、変動的な下界境界は、結合表現と欠測モダリティの間の相互情報を制限する。
論文 参考訳（メタデータ） (2021-10-09T17:22:24Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳（メタデータ） (2021-06-25T22:08:51Z) - Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。
我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。
我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
論文 参考訳（メタデータ） (2020-04-08T09:07:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。