論文の概要: A Markov Random Field Multi-Modal Variational AutoEncoder

• arxiv url: http://arxiv.org/abs/2408.09576v1
• Date: Sun, 18 Aug 2024 19:27:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 18:14:03.984816
• Title: A Markov Random Field Multi-Modal Variational AutoEncoder
• Title（参考訳）: マルコフ確率場多モード変分オートエンコーダ
• Authors: Fouad Oubari, Mohamed El Baha, Raphael Meunier, Rodrigue Décatoire, Mathilde Mougeot,
• Abstract要約: この研究は、マルコフランダム場(MRF)を前と後の両方の分布に組み込む新しいマルチモーダルVAEを導入する。 我々のアプローチは、これらの関係の複雑さをモデル化し、活用することを目的としており、マルチモーダルデータのより忠実な表現を可能にしている。
• 参考スコア（独自算出の注目度）: 1.2233362977312945
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent advancements in multimodal Variational AutoEncoders (VAEs) have highlighted their potential for modeling complex data from multiple modalities. However, many existing approaches use relatively straightforward aggregating schemes that may not fully capture the complex dynamics present between different modalities. This work introduces a novel multimodal VAE that incorporates a Markov Random Field (MRF) into both the prior and posterior distributions. This integration aims to capture complex intermodal interactions more effectively. Unlike previous models, our approach is specifically designed to model and leverage the intricacies of these relationships, enabling a more faithful representation of multimodal data. Our experiments demonstrate that our model performs competitively on the standard PolyMNIST dataset and shows superior performance in managing complex intermodal dependencies in a specially designed synthetic dataset, intended to test intricate relationships.
• Abstract（参考訳）: マルチモーダル変分オートエンコーダ(VAE)の最近の進歩は、複数のモーダルから複雑なデータをモデル化する可能性を強調している。 しかし、既存の多くのアプローチでは、異なるモジュラリティの間に存在する複雑なダイナミクスを完全に捉えない比較的単純な集約スキームを使用している。 この研究は、マルコフランダム場(MRF)を前と後の両方の分布に組み込む新しいマルチモーダルVAEを導入する。 この統合は、複雑なモーダル間相互作用をより効果的に捉えることを目的としている。 従来のモデルとは異なり、我々のアプローチはこれらの関係の複雑さをモデル化し、活用することを目的としており、マルチモーダルデータのより忠実な表現を可能にしている。 本実験は,本モデルが標準のPolyMNISTデータセット上で競合的に動作することを示し,複雑な関係性をテストすることを意図した,特別に設計された合成データセットにおいて,複雑な相互依存を管理する上で優れた性能を示す。

関連論文リスト

• Learning Multimodal Latent Generative Models with Energy-Based Prior [3.6648642834198797]
  EBMに潜時生成モデルを統合する新しいフレームワークを提案する。 このアプローチは、より表現力があり、情報的であり、複数のモダリティにまたがる情報のより良いキャプチャをもたらす。
  論文  参考訳（メタデータ） (2024-09-30T01:38:26Z)
• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)
• Model Composition for Multimodal Large Language Models [71.5729418523411]
  本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。 我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-20T06:38:10Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Learning multi-modal generative models with permutation-invariant encoders and tighter variational objectives [5.549794481031468]
  マルチモーダルデータに対する深い潜伏変数モデルの開発は、機械学習研究において長年のテーマであった。 本研究では,データログ類似度を厳密に近似できる変動目標について考察する。 我々は,PoE や MoE のアプローチにおける帰納バイアスを回避するために,より柔軟なアグリゲーション手法を開発した。
  論文  参考訳（メタデータ） (2023-09-01T10:32:21Z)
• Score-Based Multimodal Autoencoders [4.594159253008448]
  マルチモーダル変分オートエンコーダ(VAEs)は、複数のモダリティを与えられた潜在空間内でのトラクタブルな後部の構築を容易にする。 本研究では, マルチモーダルVAEの生成性能を高めるための代替手法について検討した。 本モデルでは,単調なVAEの優れた生成品質と,異なるモダリティをまたいだコヒーレントな統合を組み合わせた。
  論文  参考訳（メタデータ） (2023-05-25T04:43:47Z)
• Multi-scale Cooperative Multimodal Transformers for Multimodal Sentiment Analysis in Videos [58.93586436289648]
  マルチモーダル感情分析のためのマルチスケール協調型マルチモーダルトランス (MCMulT) アーキテクチャを提案する。 本モデルは,非整合型マルチモーダル列に対する既存手法よりも優れ,整合型マルチモーダル列に対する強い性能を有する。
  論文  参考訳（メタデータ） (2022-06-16T07:47:57Z)
• Learning Sequential Latent Variable Models from Multimodal Time Series Data [6.107812768939553]
  マルチモーダルデータの確率的潜在状態表現を協調的に学習するための自己教師付き生成モデリングフレームワークを提案する。 提案手法が予測品質と表現品質を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2022-04-21T21:59:24Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• Variational Dynamic Mixtures [18.730501689781214]
  逐次潜伏変数を推定するための変分動的混合(VDM)を開発した。 実証実験により、VDMは、高マルチモーダルデータセットにおける競合するアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-20T16:10:07Z)
• Relating by Contrasting: A Data-efficient Framework for Multimodal Generative Models [86.9292779620645]
  生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。 提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
  論文  参考訳（メタデータ） (2020-07-02T15:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。