論文の概要: Learning multi-modal generative models with permutation-invariant encoders and tighter variational objectives

• arxiv url: http://arxiv.org/abs/2309.00380v3
• Date: Tue, 24 Sep 2024 13:59:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-09 14:40:04.673896
• Title: Learning multi-modal generative models with permutation-invariant encoders and tighter variational objectives
• Title（参考訳）: 置換不変エンコーダとより厳密な変動目標を用いた多モード生成モデルの学習
• Authors: Marcel Hirt, Domenico Campolo, Victoria Leong, Juan-Pablo Ortega,
• Abstract要約: マルチモーダルデータに対する深い潜伏変数モデルの開発は、機械学習研究において長年のテーマであった。 本研究では,データログ類似度を厳密に近似できる変動目標について考察する。 我々は,PoE や MoE のアプローチにおける帰納バイアスを回避するために,より柔軟なアグリゲーション手法を開発した。
• 参考スコア（独自算出の注目度）: 5.549794481031468
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Devising deep latent variable models for multi-modal data has been a long-standing theme in machine learning research. Multi-modal Variational Autoencoders (VAEs) have been a popular generative model class that learns latent representations that jointly explain multiple modalities. Various objective functions for such models have been suggested, often motivated as lower bounds on the multi-modal data log-likelihood or from information-theoretic considerations. To encode latent variables from different modality subsets, Product-of-Experts (PoE) or Mixture-of-Experts (MoE) aggregation schemes have been routinely used and shown to yield different trade-offs, for instance, regarding their generative quality or consistency across multiple modalities. In this work, we consider a variational objective that can tightly approximate the data log-likelihood. We develop more flexible aggregation schemes that avoid the inductive biases in PoE or MoE approaches by combining encoded features from different modalities based on permutation-invariant neural networks. Our numerical experiments illustrate trade-offs for multi-modal variational objectives and various aggregation schemes. We show that our variational objective and more flexible aggregation models can become beneficial when one wants to approximate the true joint distribution over observed modalities and latent variables in identifiable models.
• Abstract（参考訳）: マルチモーダルデータに対する深い潜伏変数モデルの開発は、機械学習研究において長年のテーマであった。 マルチモーダル変分オートエンコーダ(VAE)は、複数のモーダルを共同で説明する潜在表現を学習する一般的な生成モデルクラスである。 このようなモデルに対する様々な目的関数が提案され、しばしばマルチモーダルデータ対数や情報理論的な考察から下界として動機付けられる。 異なるモダリティ部分集合から潜在変数を符号化するために、Product-of-Experts(PoE)またはMixture-of-Experts(MoE)アグリゲーションスキームが日常的に使われ、例えば、複数のモダリティにわたる生成品質や一貫性に関して、異なるトレードオフをもたらすことが示されている。 本研究では,データログ類似度を厳密に近似できる変動目標について考察する。 我々は、置換不変ニューラルネットワークに基づく異なるモーダル性から符号化された特徴を組み合わせることにより、PoEやMoEアプローチの帰納バイアスを回避する、より柔軟なアグリゲーションスキームを開発する。 数値解析実験では、多モード変動目的と様々なアグリゲーションスキームのトレードオフについて述べる。 同定可能なモデルにおいて、観測されたモジュラリティと潜伏変数の真の関節分布を近似したい場合、我々の変動目的およびより柔軟な凝集モデルが有益であることが示される。

関連論文リスト

• Learning Multimodal Latent Generative Models with Energy-Based Prior [3.6648642834198797]
  EBMに潜時生成モデルを統合する新しいフレームワークを提案する。 このアプローチは、より表現力があり、情報的であり、複数のモダリティにまたがる情報のより良いキャプチャをもたらす。
  論文  参考訳（メタデータ） (2024-09-30T01:38:26Z)
• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)
• Disentangling shared and private latent factors in multimodal Variational Autoencoders [6.680930089714339]
  MVAE や MMVAE のようなマルチモーダル変分オートエンコーダは、それらの根底にある潜在因子を推測し、共有変分をプライベートから分離する自然な選択である。 既存のモデルの制約を実証し、モダリティ固有の変動に対してより堅牢にする方法を提案する。 本研究は,様々な実世界のマルチオミクスデータセットと合成実験によって支援された。
  論文  参考訳（メタデータ） (2024-03-10T23:11:05Z)
• Model Composition for Multimodal Large Language Models [71.5729418523411]
  本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。 我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-20T06:38:10Z)
• Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [95.49699178874683]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts in Underspecified Visual Tasks [92.32670915472099]
  拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。 拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:37:52Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Variational Dynamic Mixtures [18.730501689781214]
  逐次潜伏変数を推定するための変分動的混合(VDM)を開発した。 実証実験により、VDMは、高マルチモーダルデータセットにおける競合するアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-20T16:10:07Z)
• Relating by Contrasting: A Data-efficient Framework for Multimodal Generative Models [86.9292779620645]
  生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。 提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
  論文  参考訳（メタデータ） (2020-07-02T15:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。