論文の概要: Learning Multimodal Latent Generative Models with Energy-Based Prior

• arxiv url: http://arxiv.org/abs/2409.19862v1
• Date: Mon, 30 Sep 2024 01:38:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 17:09:32.424526
• Title: Learning Multimodal Latent Generative Models with Energy-Based Prior
• Title（参考訳）: エネルギーベースプライオリティを用いたマルチモーダル潜在生成モデル学習
• Authors: Shiyu Yuan, Jiali Cui, Hanao Li, Tian Han,
• Abstract要約: EBMに潜時生成モデルを統合する新しいフレームワークを提案する。 このアプローチは、より表現力があり、情報的であり、複数のモダリティにまたがる情報のより良いキャプチャをもたらす。
• 参考スコア（独自算出の注目度）: 3.6648642834198797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal generative models have recently gained significant attention for their ability to learn representations across various modalities, enhancing joint and cross-generation coherence. However, most existing works use standard Gaussian or Laplacian distributions as priors, which may struggle to capture the diverse information inherent in multiple data types due to their unimodal and less informative nature. Energy-based models (EBMs), known for their expressiveness and flexibility across various tasks, have yet to be thoroughly explored in the context of multimodal generative models. In this paper, we propose a novel framework that integrates the multimodal latent generative model with the EBM. Both models can be trained jointly through a variational scheme. This approach results in a more expressive and informative prior, better-capturing of information across multiple modalities. Our experiments validate the proposed model, demonstrating its superior generation coherence.
• Abstract（参考訳）: マルチモーダル生成モデルは、様々なモダリティにまたがる表現を学習し、ジョイントとクロスジェネレーションのコヒーレンスを高める能力において、近年大きな注目を集めている。 しかし、既存のほとんどの著作では、標準ガウス分布やラプラシア分布を先行として用いており、その不定型で情報的でない性質のため、複数のデータ型に固有の多様な情報を捉えるのに苦労する可能性がある。 エネルギーベースモデル(EBM)は、様々なタスクにまたがる表現性と柔軟性で知られており、マルチモーダル生成モデル(英語版)の文脈ではまだ徹底的に研究されていない。 本稿では,マルチモーダル遅延生成モデルとEMMを統合した新しいフレームワークを提案する。 どちらのモデルも変分スキームによって共同で訓練することができる。 このアプローチは、より表現力があり、情報的であり、複数のモダリティにまたがる情報のより良いキャプチャをもたらす。 本実験では,提案モデルの有効性を検証し,その優れた世代コヒーレンスを実証した。

関連論文リスト

• Multi-Modal Generative AI: Multi-modal LLM, Diffusion and Beyond [48.43910061720815]
  マルチモーダル生成AIは、学術と産業の両方で注目を集めている。 理解と生成の両方に統一されたモデルを持つことは可能か?
  論文  参考訳（メタデータ） (2024-09-23T13:16:09Z)
• Diffusion Models For Multi-Modal Generative Modeling [32.61765315067488]
  本稿では,共通拡散空間における統一多モード拡散モデルを構築することにより,拡散モデルを定義するための原理的手法を提案する。 本稿では,画像遷移,マスクイメージトレーニング,共同画像ラベル,共同画像表現生成モデリングなどのフレームワークを検証するために,複数のマルチモーダル生成設定を提案する。
  論文  参考訳（メタデータ） (2024-07-24T18:04:17Z)
• SEED-X: Multimodal Models with Unified Multi-granularity Comprehension and Generation [61.392147185793476]
  統一的で汎用的な基礎モデル、すなわちSEED-Xを提案する。 SEED-Xは、理解および生成タスクのための多粒度視覚意味論をモデル化することができる。 我々の研究が、現実世界のアプリケーションで多目的なマルチモーダル基盤モデルによって達成できるものについて、将来の研究に刺激を与えることを期待しています。
  論文  参考訳（メタデータ） (2024-04-22T17:56:09Z)
• Learning multi-modal generative models with permutation-invariant encoders and tighter variational objectives [5.549794481031468]
  マルチモーダルデータに対する深い潜伏変数モデルの開発は、機械学習研究において長年のテーマであった。 本研究では,データログ類似度を厳密に近似できる変動目標について考察する。 我々は,PoE や MoE のアプローチにおける帰納バイアスを回避するために,より柔軟なアグリゲーション手法を開発した。
  論文  参考訳（メタデータ） (2023-09-01T10:32:21Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• Unified Discrete Diffusion for Simultaneous Vision-Language Generation [78.21352271140472]
  本稿では,「モダリティ変換」タスクと「マルチモダリティ生成」タスクの両方を実行することができる統一型マルチモーダル生成モデルを提案する。 具体的には,マルチモーダル信号の離散拡散過程を統一遷移行列を用いて統一する。 提案手法は, 様々な生成タスクにおいて, 最先端のソリューションと同等に動作可能である。
  論文  参考訳（メタデータ） (2022-11-27T14:46:01Z)
• A survey of multimodal deep generative models [20.717591403306287]
  マルチモーダル学習は、様々なタイプのモダリティに基づいて予測を行うモデルを構築するためのフレームワークである。 ディープニューラルネットワークによって分布がパラメータ化されるディープジェネレーティブモデルが注目されている。
  論文  参考訳（メタデータ） (2022-07-05T15:48:51Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Relating by Contrasting: A Data-efficient Framework for Multimodal Generative Models [86.9292779620645]
  生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。 提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
  論文  参考訳（メタデータ） (2020-07-02T15:08:11Z)
• Multimodal Generative Learning Utilizing Jensen-Shannon-Divergence [20.23920009396818]
  本稿では,Jensen-Shannon分散を複数の分布に利用した,新しい,効率的な目的関数を提案する。 同時に、動的前駆体を介して一方向と関節の多モード後駆体を直接近似する。 広汎な実験では、教師なし・生成学習タスクにおける従来の研究と比較して、提案したmmJSDモデルの利点を実証する。
  論文  参考訳（メタデータ） (2020-06-15T09:30:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。