論文の概要: The Transitive Information Theory and its Application to Deep Generative Models

• arxiv url: http://arxiv.org/abs/2203.05074v1
• Date: Wed, 9 Mar 2022 22:35:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-12 03:56:55.351302
• Title: The Transitive Information Theory and its Application to Deep Generative Models
• Title（参考訳）: 推移情報理論とその深部生成モデルへの応用
• Authors: Trung Ngo and Ville Hautam\"aki and Merja Hein\"aniemi
• Abstract要約: 変分オートエンコーダ(VAE)は2つの反対方向に押される。 既存の方法では、圧縮と再構成の間のレート歪みのトレードオフに問題を絞り込む。 一般化のために学習した表現を再結合する機構とともに,非交叉表現の階層構造を学習するシステムを開発する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Paradoxically, a Variational Autoencoder (VAE) could be pushed in two opposite directions, utilizing powerful decoder model for generating realistic images but collapsing the learned representation, or increasing regularization coefficient for disentangling representation but ultimately generating blurry examples. Existing methods narrow the issues to the rate-distortion trade-off between compression and reconstruction. We argue that a good reconstruction model does learn high capacity latents that encode more details, however, its use is hindered by two major issues: the prior is random noise which is completely detached from the posterior and allow no controllability in the generation; mean-field variational inference doesn't enforce hierarchy structure which makes the task of recombining those units into plausible novel output infeasible. As a result, we develop a system that learns a hierarchy of disentangled representation together with a mechanism for recombining the learned representation for generalization. This is achieved by introducing a minimal amount of inductive bias to learn controllable prior for the VAE. The idea is supported by here developed transitive information theory, that is, the mutual information between two target variables could alternately be maximized through the mutual information to the third variable, thus bypassing the rate-distortion bottleneck in VAE design. In particular, we show that our model, named SemafoVAE (inspired by the similar concept in computer science), could generate high-quality examples in a controllable manner, perform smooth traversals of the disentangled factors and intervention at a different level of representation hierarchy.
• Abstract（参考訳）: パラドックス的には、変分オートエンコーダ(VAE)は、実写画像を生成するために強力なデコーダモデルを利用するが、学習した表現を崩壊させるか、あるいは非絡み合う表現の正規化係数を増大させるが、最終的には曖昧な例を生成する。 既存の方法では、圧縮と再構成の間のレート歪みのトレードオフに問題を絞り込む。 良好な復元モデルは,より詳細な情報をエンコードする高容量潜水器を学習するが,前者は後方から完全に切り離されたランダムノイズであり,生成の制御性を許容しない,平均場変動推論では,それらのユニットを可算な新規出力に再結合するタスクを強制しない,という2つの大きな問題に悩まされている。 その結果、一般化のために学習した表現を再結合する機構とともに、不整合表現の階層構造を学習するシステムを開発した。 これは、VAEの前に制御可能な学習を行うために、最小限の帰納バイアスを導入することで達成される。 このアイデアは,2つの変数間の相互情報を第3変数への相互情報を通じて交互に最大化することで,VOE設計における速度歪みのボトルネックを回避できる,という過渡的情報理論によって支持される。 特に,セマフォワエ(semafovae)というモデル(コンピュータ科学における類似概念に触発された)は,制御可能な方法で高品質な例を生成し,不連続要因の円滑なトラバーサルを行い,異なる階層レベルで介入できることを示した。

関連論文リスト

• DiffEnc: Variational Diffusion with a Learned Encoder [14.045374947755922]
  拡散過程にデータと深度に依存した平均関数を導入し,拡散損失を改良した。 提案するフレームワークであるDiffEncは,CIFAR-10の確率を統計的に有意に向上させる。
  論文  参考訳（メタデータ） (2023-10-30T17:54:36Z)
• How to train your VAE [0.0]
  変分オートエンコーダ(VAE)は、機械学習における生成モデリングと表現学習の基盤となっている。 本稿では,ELBO(エビデンス・ロウアー・バウンド)における重要な構成要素であるKLディバージェンス(Kulback-Leibler)の解釈について検討する。 提案手法は, ELBOを後続確率のガウス混合体で再定義し, 正規化項を導入し, テクスチャリアリズムを高めるためにPatchGAN識別器を用いる。
  論文  参考訳（メタデータ） (2023-09-22T19:52:28Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• InfoVAEGAN : learning joint interpretable representations by information maximization and maximum likelihood [15.350366047108103]
  本稿では,変分オートエンコーダ(VAE)の推論能力とGAN(Generative Adversarial Networks)の機能を組み合わせた表現学習アルゴリズムを提案する。 提案したモデルはInfoVAEGANと呼ばれ、ジェネレータとディスクリミネータの3つのネットワークで構成されている。
  論文  参考訳（メタデータ） (2021-07-09T22:38:10Z)
• High-Fidelity Synthesis with Disentangled Representation [60.19657080953252]
  本稿では,不整合学習と高忠実度合成のためのID-GAN(Information-Distillation Generative Adrial Network)を提案する。 提案手法は, VAEモデルを用いて非交叉表現を学習し, 高忠実度合成のためのGAN生成器に追加のニュアンス変数で学習表現を蒸留する。 単純さにもかかわらず,提案手法は高効率であり,不整合表現を用いた最先端の手法に匹敵する画像生成品質を実現する。
  論文  参考訳（メタデータ） (2020-01-13T14:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。