論文の概要: Score-Based Multimodal Autoencoder

• arxiv url: http://arxiv.org/abs/2305.15708v2
• Date: Tue, 10 Dec 2024 14:00:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:34:29.461784
• Title: Score-Based Multimodal Autoencoder
• Title（参考訳）: スコアベースマルチモーダルオートエンコーダ
• Authors: Daniel Wesego, Pedram Rooshenas,
• Abstract要約: マルチモーダル変分オートエンコーダ (VAEs) は、複数のモーダルが与えられた潜在空間内でのトラクタブルな後部の構築を容易にする。 これまでの研究では、モダリティの数が増えるにつれて、各モダリティの生成品質が低下することが示されている。 本研究では、独立に訓練された単調なVAEの潜伏空間を共同でモデル化することにより、マルチモーダルなVAEの生成性能を高めるための代替手法について検討する。
• 参考スコア（独自算出の注目度）: 0.9208007322096533
• License:
• Abstract: Multimodal Variational Autoencoders (VAEs) represent a promising group of generative models that facilitate the construction of a tractable posterior within the latent space given multiple modalities. Previous studies have shown that as the number of modalities increases, the generative quality of each modality declines. In this study, we explore an alternative approach to enhance the generative performance of multimodal VAEs by jointly modeling the latent space of independently trained unimodal VAEs using score-based models (SBMs). The role of the SBM is to enforce multimodal coherence by learning the correlation among the latent variables. Consequently, our model combines a better generative quality of unimodal VAEs with coherent integration across different modalities using the latent score-based model. In addition, our approach provides the best unconditional coherence.
• Abstract（参考訳）: マルチモーダル変分オートエンコーダ(VAEs)は、複数のモダリティが与えられた潜在空間内でのトラクタブルな後部の構築を容易にする生成モデルの有望なグループである。 これまでの研究では、モダリティの数が増えるにつれて、各モダリティの生成品質が低下することが示されている。 本研究では、スコアベースモデル(SBM)を用いて、独立に訓練された単助詞VAEの潜在空間を共同でモデル化することにより、マルチモーダルVAEの生成性能を高めるための代替手法を検討する。 SBMの役割は、潜伏変数間の相関を学習することでマルチモーダルコヒーレンスを強制することである。 その結果、本モデルでは、単調なVAEのより優れた生成品質を、潜在スコアベースモデルを用いて異なるモード間のコヒーレントな統合と組み合わせることができた。 さらに、我々のアプローチは最高の無条件コヒーレンスを提供する。

関連論文リスト

• Multiagent Finetuning: Self Improvement with Diverse Reasoning Chains [114.76612918465948]
  大規模言語モデル(LLM)は近年顕著なパフォーマンスを達成しているが、基礎となるトレーニングデータによって根本的に制限されている。 本稿では,言語モデルのマルチエージェント社会にファインタニングを適用した自己改善への補完的アプローチを提案する。
  論文  参考訳（メタデータ） (2025-01-10T04:35:46Z)
• Multimodal Latent Language Modeling with Next-Token Diffusion [111.93906046452125]
  マルチモーダル生成モデルは、離散データ(テキストやコードなど)と連続データ(画像、オーディオ、ビデオなど)の両方を扱う統一的なアプローチを必要とする。 因果変換器を用いて連続データと離散データをシームレスに統合する潜在言語モデリング(LatentLM)を提案する。
  論文  参考訳（メタデータ） (2024-12-11T18:57:32Z)
• Multimodal ELBO with Diffusion Decoders [0.9208007322096533]
  拡散生成モデルを用いて,より優れたデコーダを組み込んだマルチモーダルVAE ELBOを提案する。 拡散デコーダにより、モデルは複雑なモダリティを学習し、高品質な出力を生成することができる。 提案モデルでは,異なるデータセットにおける他のマルチモーダルVAEと比較して,コヒーレンスが高く,生成したモダリティの品質も優れている。
  論文  参考訳（メタデータ） (2024-08-29T20:12:01Z)
• A Markov Random Field Multi-Modal Variational AutoEncoder [1.2233362977312945]
  この研究は、マルコフランダム場(MRF)を前と後の両方の分布に組み込む新しいマルチモーダルVAEを導入する。 我々のアプローチは、これらの関係の複雑さをモデル化し、活用することを目的としており、マルチモーダルデータのより忠実な表現を可能にしている。
  論文  参考訳（メタデータ） (2024-08-18T19:27:30Z)
• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)
• Model Composition for Multimodal Large Language Models [71.5729418523411]
  本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。 我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-20T06:38:10Z)
• Learning multi-modal generative models with permutation-invariant encoders and tighter variational objectives [5.549794481031468]
  マルチモーダルデータに対する深い潜伏変数モデルの開発は、機械学習研究において長年のテーマであった。 本研究では,データログ類似度を厳密に近似できる変動目標について考察する。 我々は,PoE や MoE のアプローチにおける帰納バイアスを回避するために,より柔軟なアグリゲーション手法を開発した。
  論文  参考訳（メタデータ） (2023-09-01T10:32:21Z)
• Multi-modal Latent Diffusion [8.316365279740188]
  多モード変分オートエンコーダ(Multi-modal Variational Autoencoder)は、様々なモダリティの合同表現を学習することを目的とした、一般的なモデルのファミリーである。 既存のアプローチはコヒーレンス品質のトレードオフに悩まされており、優れた世代品質のモデルはモダリティ間で生成コヒーレンスを欠いている。 独立に訓練された一様・一様・決定論的オートエンコーダの集合を用いる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-07T14:16:44Z)
• On the Limitations of Multimodal VAEs [9.449650062296824]
  マルチモーダル変分オートエンコーダ(VAE)は、弱い教師付きデータに対する効率的な生成モデルとして期待されている。 弱い監督の利点にもかかわらず、単調なVAEと比較すると、遺伝子品質の差が見られる。
  論文  参考訳（メタデータ） (2021-10-08T13:28:28Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Relating by Contrasting: A Data-efficient Framework for Multimodal Generative Models [86.9292779620645]
  生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。 提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
  論文  参考訳（メタデータ） (2020-07-02T15:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。