Fugu-MT 論文翻訳(概要): Improving Multimodal Joint Variational Autoencoders through Normalizing Flows and Correlation Analysis

論文の概要: Improving Multimodal Joint Variational Autoencoders through Normalizing Flows and Correlation Analysis

arxiv url: http://arxiv.org/abs/2305.11832v1
Date: Fri, 19 May 2023 17:15:34 GMT
ステータス: 処理完了
システム内更新日: 2023-05-22 13:08:53.414701
Title: Improving Multimodal Joint Variational Autoencoders through Normalizing Flows and Correlation Analysis
Title（参考訳）: 正規化流れと相関解析によるマルチモーダル関節変動オートエンコーダの改善
Authors: Agathe Senellart, Cl\'ement Chadebec, St\'ephanie Allassonni\`ere
Abstract要約: 一方向後部はディープ・カノニカル・相関解析(英語版)の埋め込みで条件付けされている。また、正規化フローを使用して、単調な後部を豊かにし、より多様なデータ生成を実現しています。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a new multimodal variational autoencoder that enables to generate from the joint distribution and conditionally to any number of complex modalities. The unimodal posteriors are conditioned on the Deep Canonical Correlation Analysis embeddings which preserve the shared information across modalities leading to more coherent cross-modal generations. Furthermore, we use Normalizing Flows to enrich the unimodal posteriors and achieve more diverse data generation. Finally, we propose to use a Product of Experts for inferring one modality from several others which makes the model scalable to any number of modalities. We demonstrate that our method improves likelihood estimates, diversity of the generations and in particular coherence metrics in the conditional generations on several datasets.
Abstract（参考訳）: 本稿では, ジョイント分布から, 任意の複素モダリティに対して条件付きで生成できるマルチモーダル変分オートエンコーダを提案する。ユニモーダル後方は、よりコヒーレントなクロスモーダル世代につながるモダリティ間の共有情報を保存するディープカノニカル相関解析埋め込み(deep canonical correlation analysis embeddeds)に基づいている。さらに,一様背部を豊かにするために正規化フローを用い,より多様なデータ生成を実現する。最後に,複数のモダリティから1つのモダリティを推論するために専門家の製品を使用することを提案する。提案手法は,複数のデータセットの条件付き世代における推定値,世代間の多様性,特にコヒーレンス指標を改善する。

関連論文リスト

Learning Multimodal Latent Generative Models with Energy-Based Prior [3.6648642834198797]
EBMに潜時生成モデルを統合する新しいフレームワークを提案する。このアプローチは、より表現力があり、情報的であり、複数のモダリティにまたがる情報のより良いキャプチャをもたらす。
論文参考訳（メタデータ） (2024-09-30T01:38:26Z)
Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
論文参考訳（メタデータ） (2023-10-03T17:37:52Z)
Learning multi-modal generative models with permutation-invariant encoders and tighter variational objectives [5.549794481031468]
マルチモーダルデータに対する深い潜伏変数モデルの開発は、機械学習研究において長年のテーマであった。本研究では,データログ類似度を厳密に近似できる変動目標について考察する。我々は,PoE や MoE のアプローチにおける帰納バイアスを回避するために,より柔軟なアグリゲーション手法を開発した。
論文参考訳（メタデータ） (2023-09-01T10:32:21Z)
Score-Based Multimodal Autoencoders [4.594159253008448]
マルチモーダル変分オートエンコーダ(VAEs)は、複数のモダリティを与えられた潜在空間内でのトラクタブルな後部の構築を容易にする。本研究では, マルチモーダルVAEの生成性能を高めるための代替手法について検討した。本モデルでは,単調なVAEの優れた生成品質と,異なるモダリティをまたいだコヒーレントな統合を組み合わせた。
論文参考訳（メタデータ） (2023-05-25T04:43:47Z)
Generalizing Multimodal Variational Methods to Sets [35.69942798534849]
本稿では,マルチモーダル潜在空間を学習するために,Set Multimodal VAE(SMVAE)と呼ばれる新しい変分法を提案する。共同モダリティ後部分布を直接モデル化することにより、提案したSMVAEは、複数のモダリティ間で情報を交換し、分解による欠点を補うことを学習する。
論文参考訳（メタデータ） (2022-12-19T23:50:19Z)
Attention Bottlenecks for Multimodal Fusion [90.75885715478054]
機械知覚モデルは典型的にはモダリティに特化しており、単調なベンチマークのために最適化されている。複数の層でのモジュラリティ融合に「融合」を用いる新しいトランスフォーマーアーキテクチャを導入する。我々は、徹底的なアブレーション研究を行い、複数のオーディオ視覚分類ベンチマークで最先端の結果を得る。
論文参考訳（メタデータ） (2021-06-30T22:44:12Z)
Learning Multimodal VAEs through Mutual Supervision [72.77685889312889]
MEMEは、相互監督を通じて暗黙的にモダリティ間の情報を結合する。我々は、MEMEが、部分的および完全観察スキームの双方で標準メトリクスのベースラインを上回ることを実証する。
論文参考訳（メタデータ） (2021-06-23T17:54:35Z)
Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文参考訳（メタデータ） (2020-10-25T18:51:15Z)
Learning more expressive joint distributions in multimodal variational methods [0.17188280334580194]
正規化フローを用いたマルチモーダル変分法の表現能力を向上させる手法を提案する。このモデルは,様々なコンピュータビジョンタスクの変動推論に基づいて,最先端のマルチモーダル手法を改善することを実証する。また, より強力な近似関節分布の学習により, 生成した試料の品質が向上することを示した。
論文参考訳（メタデータ） (2020-09-08T11:45:27Z)
Relating by Contrasting: A Data-efficient Framework for Multimodal Generative Models [86.9292779620645]
生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
論文参考訳（メタデータ） (2020-07-02T15:08:11Z)
Towards Multimodal Response Generation with Exemplar Augmentation and Curriculum Optimization [73.45742420178196]
本稿では,高度化とカリキュラム最適化を併用した,新しいマルチモーダル応答生成フレームワークを提案する。我々のモデルは多様性と妥当性の点で強いベースラインに比べて大幅に改善されている。
論文参考訳（メタデータ） (2020-04-26T16:29:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。