論文の概要: Learning multi-modal generative models with permutation-invariant
encoders and tighter variational bounds
- arxiv url: http://arxiv.org/abs/2309.00380v1
- Date: Fri, 1 Sep 2023 10:32:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-04 13:40:21.946733
- Title: Learning multi-modal generative models with permutation-invariant
encoders and tighter variational bounds
- Title(参考訳): 置換不変エンコーダとより厳密な変動境界を持つ多モード生成モデルの学習
- Authors: Marcel Hirt, Domenico Campolo, Victoria Leong, Juan-Pablo Ortega
- Abstract要約: マルチモーダルデータに対する深い潜伏変数モデルの開発は、機械学習研究において長年のテーマであった。
本研究では、データログのような境界を厳格に下げることができる変動境界について考察する。
我々は、異なるモダリティから符号化された特徴を組み合わせることで、PoE や MoE のアプローチを一般化するより柔軟なアグリゲーションスキームを開発する。
- 参考スコア(独自算出の注目度): 6.062751776009752
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Devising deep latent variable models for multi-modal data has been a
long-standing theme in machine learning research. Multi-modal Variational
Autoencoders (VAEs) have been a popular generative model class that learns
latent representations which jointly explain multiple modalities. Various
objective functions for such models have been suggested, often motivated as
lower bounds on the multi-modal data log-likelihood or from
information-theoretic considerations. In order to encode latent variables from
different modality subsets, Product-of-Experts (PoE) or Mixture-of-Experts
(MoE) aggregation schemes have been routinely used and shown to yield different
trade-offs, for instance, regarding their generative quality or consistency
across multiple modalities. In this work, we consider a variational bound that
can tightly lower bound the data log-likelihood. We develop more flexible
aggregation schemes that generalise PoE or MoE approaches by combining encoded
features from different modalities based on permutation-invariant neural
networks. Our numerical experiments illustrate trade-offs for multi-modal
variational bounds and various aggregation schemes. We show that tighter
variational bounds and more flexible aggregation models can become beneficial
when one wants to approximate the true joint distribution over observed
modalities and latent variables in identifiable models.
- Abstract(参考訳): マルチモーダルデータに対する深い潜伏変数モデルの開発は、機械学習研究において長年のテーマであった。
マルチモーダル変分オートエンコーダ(vaes)は、複数のモダリティを共同で説明する潜在表現を学ぶ一般的な生成モデルクラスである。
このようなモデルの様々な目的関数が提案され、しばしばマルチモーダルデータ対数や情報理論的な考察から下界として動機付けられる。
異なるモダリティ部分集合から潜在変数を符号化するために、Product-of-Experts(PoE)またはMixture-of-Experts(MoE)アグリゲーションスキームが日常的に使われ、例えば、複数のモダリティにわたる生成品質や一貫性に関して異なるトレードオフをもたらすことが示されている。
本研究では,データログライクなバウンドを厳格に低減できる変分境界を考える。
我々は、置換不変ニューラルネットワークに基づく様々なモードから符号化された特徴を組み合わせることで、PoEやMoEアプローチを一般化するより柔軟なアグリゲーションスキームを開発する。
数値実験により,マルチモーダル変分境界と各種集約スキームのトレードオフを示す。
同定可能なモデルにおいて観測されたモダリティと潜在変数の真のジョイント分布を近似したい場合、より強固な変動境界とより柔軟な集約モデルが有益になることを示す。
関連論文リスト
- Model Composition for Multimodal Large Language Models [73.70317850267149]
本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。
我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
論文 参考訳(メタデータ) (2024-02-20T06:38:10Z) - Mitigating Biases with Diverse Ensembles and Diffusion Models [99.6100669122048]
拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークを提案する。
DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。
そこで本研究では,DPM誘導の多様化は,制御信号の追加を必要とせず,一次ショートカットキューへの依存を取り除くのに十分であることを示す。
論文 参考訳(メタデータ) (2023-11-23T15:47:33Z) - Multimodal Representation Learning by Alternating Unimodal Adaptation [79.9201824151389]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。
MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。
共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。
推論フェーズの間、MLAはテスト時間不確実性に基づくモデル融合機構を使用して、マルチモーダル情報を統合する。
論文 参考訳(メタデータ) (2023-11-17T18:57:40Z) - Leveraging Diffusion Disentangled Representations to Mitigate Shortcuts
in Underspecified Visual Tasks [92.32670915472099]
拡散確率モデル(DPM)を用いた合成カウンターファクトの生成を利用したアンサンブルの多様化フレームワークを提案する。
拡散誘導型分散化は,データ収集を必要とする従来の手法に匹敵するアンサンブル多様性を達成し,ショートカットからの注意を回避できることを示す。
論文 参考訳(メタデータ) (2023-10-03T17:37:52Z) - Improving Multimodal Joint Variational Autoencoders through Normalizing
Flows and Correlation Analysis [0.0]
一方向後部はディープ・カノニカル・相関解析(英語版)の埋め込みで条件付けされている。
また、正規化フローを使用して、単調な後部を豊かにし、より多様なデータ生成を実現しています。
論文 参考訳(メタデータ) (2023-05-19T17:15:34Z) - Generalizing Multimodal Variational Methods to Sets [35.69942798534849]
本稿では,マルチモーダル潜在空間を学習するために,Set Multimodal VAE(SMVAE)と呼ばれる新しい変分法を提案する。
共同モダリティ後部分布を直接モデル化することにより、提案したSMVAEは、複数のモダリティ間で情報を交換し、分解による欠点を補うことを学習する。
論文 参考訳(メタデータ) (2022-12-19T23:50:19Z) - Variational Dynamic Mixtures [18.730501689781214]
逐次潜伏変数を推定するための変分動的混合(VDM)を開発した。
実証実験により、VDMは、高マルチモーダルデータセットにおける競合するアプローチよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-10-20T16:10:07Z) - Conditional Generative Modeling via Learning the Latent Space [54.620761775441046]
マルチモーダル空間における条件生成のための新しい枠組みを提案する。
潜在変数を使って一般化可能な学習パターンをモデル化する。
推論では、潜伏変数は複数の出力モードに対応する最適解を見つけるために最適化される。
論文 参考訳(メタデータ) (2020-10-07T03:11:34Z) - Learning more expressive joint distributions in multimodal variational
methods [0.17188280334580194]
正規化フローを用いたマルチモーダル変分法の表現能力を向上させる手法を提案する。
このモデルは,様々なコンピュータビジョンタスクの変動推論に基づいて,最先端のマルチモーダル手法を改善することを実証する。
また, より強力な近似関節分布の学習により, 生成した試料の品質が向上することを示した。
論文 参考訳(メタデータ) (2020-09-08T11:45:27Z) - Relating by Contrasting: A Data-efficient Framework for Multimodal
Generative Models [86.9292779620645]
生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。
提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
論文 参考訳(メタデータ) (2020-07-02T15:08:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。