論文の概要: Improving the Reconstruction of Disentangled Representation Learners via
Multi-Stage Modelling
- arxiv url: http://arxiv.org/abs/2010.13187v1
- Date: Sun, 25 Oct 2020 18:51:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 04:13:36.581784
- Title: Improving the Reconstruction of Disentangled Representation Learners via
Multi-Stage Modelling
- Title(参考訳): マルチステージモデリングによるアンタングル表現学習者の再構築
- Authors: Akash Srivastava, Yamini Bansal, Yukun Ding, Cole Hurwitz, Kai Xu,
Bernhard Egger, Prasanna Sattigeri, Josh Tenenbaum, David D. Cox, Dan
Gutfreund
- Abstract要約: 現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
モデルが相関変数を学習するのに十分な能力を持っていないため,不整合表現学習と再構成品質のトレードオフがもたらされる。
本稿では,既存の不整合表現学習手法を用いて,非整合因子をまず学習する,新しい多段階モデリング手法を提案する。
提案するマルチステージモデルは,複数の標準ベンチマークにおいて等価なアンタングル性能を有する現在の最先端手法よりも,はるかに高い再現性を有することを示す。
- 参考スコア(独自算出の注目度): 36.511724015405036
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Current autoencoder-based disentangled representation learning methods
achieve disentanglement by penalizing the (aggregate) posterior to encourage
statistical independence of the latent factors. This approach introduces a
trade-off between disentangled representation learning and reconstruction
quality since the model does not have enough capacity to learn correlated
latent variables that capture detail information present in most image data. To
overcome this trade-off, we present a novel multi-stage modelling approach
where the disentangled factors are first learned using a preexisting
disentangled representation learning method (such as $\beta$-TCVAE); then, the
low-quality reconstruction is improved with another deep generative model that
is trained to model the missing correlated latent variables, adding detail
information while maintaining conditioning on the previously learned
disentangled factors. Taken together, our multi-stage modelling approach
results in a single, coherent probabilistic model that is theoretically
justified by the principal of D-separation and can be realized with a variety
of model classes including likelihood-based models such as variational
autoencoders, implicit models such as generative adversarial networks, and
tractable models like normalizing flows or mixtures of Gaussians. We
demonstrate that our multi-stage model has much higher reconstruction quality
than current state-of-the-art methods with equivalent disentanglement
performance across multiple standard benchmarks.
- Abstract(参考訳): 現在の自己エンコーダに基づく非絡み合い表現学習法は、後部(アグリゲート)をペナル化することにより、潜伏因子の統計的独立を促進する。
このアプローチでは、ほとんどの画像データに存在する詳細情報をキャプチャする相関潜在変数を学習するのに十分な能力を持たないため、不連続表現学習と再構成品質とのトレードオフを導入する。
このトレードオフを克服するために,既存の不整合表現学習法(例えば$\beta$-TCVAE)を用いて,不整合因子を学習する新しい多段階モデリング手法を提案する。
多段階モデリングのアプローチを組み合わせると、d分離の原則によって理論的に正当化され、変分オートエンコーダのような帰納的モデル、生成的逆ネットワークのような暗黙的モデル、流れの正規化やガウスの混合のような扱いやすいモデルなど、様々なモデルクラスで実現できる単一のコヒーレントな確率モデルができあがります。
我々は,マルチステージモデルが現在の最先端手法よりもはるかに高いコンストラクション品質を有し,複数の標準ベンチマークで同等な異角性性能を示すことを実証する。
関連論文リスト
- Merging Text Transformer Models from Different Initializations [7.768975909119287]
異なるTransformer minimaが類似した特徴を学習する程度について検討する。
損失景観におけるこれらのミニマの関係を調べるためのモデルマージ手法を提案する。
以上の結果から,これらのモデルのミニマは従来理解されていたよりもシャープで孤立していないことが明らかとなった。
論文 参考訳(メタデータ) (2024-03-01T21:16:29Z) - Learning Joint Latent Space EBM Prior Model for Multi-layer Generator [44.4434704520236]
多層ジェネレータモデルの学習における基礎的問題について検討する。
本稿では,全層にまたがる待ち行列空間上のエネルギーモデル (EBM) を提案する。
実験により、学習したモデルが高品質な画像を生成する際に表現できることが実証された。
論文 参考訳(メタデータ) (2023-06-10T00:27:37Z) - ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。
我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
論文 参考訳(メタデータ) (2023-04-07T15:17:48Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳(メタデータ) (2022-12-19T20:46:43Z) - Investigating Ensemble Methods for Model Robustness Improvement of Text
Classifiers [66.36045164286854]
既存のバイアス機能を分析し、すべてのケースに最適なモデルが存在しないことを実証します。
適切なバイアスモデルを選択することで、より洗練されたモデル設計でベースラインよりもロバスト性が得られる。
論文 参考訳(メタデータ) (2022-10-28T17:52:10Z) - De-Biasing Generative Models using Counterfactual Methods [0.0]
我々はCausal Counterfactual Generative Model (CCGM) と呼ばれる新しいデコーダベースのフレームワークを提案する。
提案手法は,因果関係の忠実さを強調するために,因果関係の潜在空間VAEモデルと特定の修正を加えたものである。
因果的学習と符号化/復号化が因果的介入の質をいかに高めるかを検討する。
論文 参考訳(メタデータ) (2022-07-04T16:53:20Z) - Bayesian Active Learning for Discrete Latent Variable Models [19.852463786440122]
アクティブラーニングは、モデルのパラメータに適合するために必要なデータ量を削減しようとする。
潜在変数モデルは神経科学、心理学、その他の様々な工学、科学分野において重要な役割を果たす。
論文 参考訳(メタデータ) (2022-02-27T19:07:12Z) - End-to-End Weak Supervision [15.125993628007972]
下流モデルを直接学習するためのエンドツーエンドアプローチを提案する。
下流テストセットにおけるエンドモデル性能の観点から,先行作業よりも性能が向上したことを示す。
論文 参考訳(メタデータ) (2021-07-05T19:10:11Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。
トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
論文 参考訳(メタデータ) (2020-10-27T17:54:12Z) - Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。
我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。
我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
論文 参考訳(メタデータ) (2020-04-08T09:07:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。