論文の概要: Learning more expressive joint distributions in multimodal variational
methods
- arxiv url: http://arxiv.org/abs/2009.03651v1
- Date: Tue, 8 Sep 2020 11:45:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 20:29:03.988140
- Title: Learning more expressive joint distributions in multimodal variational
methods
- Title(参考訳): マルチモーダル変分法におけるより表現力のあるジョイント分布の学習
- Authors: Sasho Nedelkoski, Mihail Bogojeski, Odej Kao
- Abstract要約: 正規化フローを用いたマルチモーダル変分法の表現能力を向上させる手法を提案する。
このモデルは,様々なコンピュータビジョンタスクの変動推論に基づいて,最先端のマルチモーダル手法を改善することを実証する。
また, より強力な近似関節分布の学習により, 生成した試料の品質が向上することを示した。
- 参考スコア(独自算出の注目度): 0.17188280334580194
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data often are formed of multiple modalities, which jointly describe the
observed phenomena. Modeling the joint distribution of multimodal data requires
larger expressive power to capture high-level concepts and provide better data
representations. However, multimodal generative models based on variational
inference are limited due to the lack of flexibility of the approximate
posterior, which is obtained by searching within a known parametric family of
distributions. We introduce a method that improves the representational
capacity of multimodal variational methods using normalizing flows. It
approximates the joint posterior with a simple parametric distribution and
subsequently transforms into a more complex one. Through several experiments,
we demonstrate that the model improves on state-of-the-art multimodal methods
based on variational inference on various computer vision tasks such as
colorization, edge and mask detection, and weakly supervised learning. We also
show that learning more powerful approximate joint distributions improves the
quality of the generated samples. The code of our model is publicly available
at https://github.com/SashoNedelkoski/BPFDMVM.
- Abstract(参考訳): データはしばしば複数のモードで形成され、観測された現象を共同で記述する。
マルチモーダルデータの連成分布をモデル化するには,高レベルの概念を捉え,より優れたデータ表現を提供するために,より大きな表現力が必要である。
しかし、変分推論に基づく多重モーダル生成モデルは、既知のパラメトリック分布の族内を探索することによって得られる近似後続の柔軟性の欠如により制限される。
正規化フローを用いたマルチモーダル変分法の表現能力を向上させる手法を提案する。
単純なパラメトリック分布で関節後方を近似し、その後より複雑なものへと変換する。
いくつかの実験を通じて,カラー化,エッジ・マスク検出,弱い教師付き学習といった様々なコンピュータビジョンタスクにおける変分推論に基づく,最先端のマルチモーダル手法を改良できることを実証した。
また,より強力な近似ジョイント分布の学習により,生成したサンプルの品質が向上することを示す。
私たちのモデルのコードはhttps://github.com/SashoNedelkoski/BPFDMVMで公開されています。
関連論文リスト
- Training Class-Imbalanced Diffusion Model Via Overlap Optimization [55.96820607533968]
実世界のデータセットで訓練された拡散モデルは、尾クラスの忠実度が劣ることが多い。
拡散モデルを含む深い生成モデルは、豊富な訓練画像を持つクラスに偏りがある。
本研究では,異なるクラスに対する合成画像の分布の重複を最小限に抑えるために,コントラスト学習に基づく手法を提案する。
論文 参考訳(メタデータ) (2024-02-16T16:47:21Z) - Revealing Multimodal Contrastive Representation Learning through Latent
Partial Causal Models [85.67870425656368]
マルチモーダルデータに特化して設計された統一因果モデルを提案する。
マルチモーダル・コントラスト表現学習は潜在結合変数の同定に優れていることを示す。
実験では、仮定が破られたとしても、我々の発見の堅牢性を示す。
論文 参考訳(メタデータ) (2024-02-09T07:18:06Z) - Debiasing Multimodal Models via Causal Information Minimization [65.23982806840182]
我々は、マルチモーダルデータのための因果グラフにおいて、共同創設者から生じるバイアスを研究する。
ロバストな予測機能は、モデルがアウト・オブ・ディストリビューションデータに一般化するのに役立つ多様な情報を含んでいる。
これらの特徴を共同設立者表現として使用し、因果理論によって動機づけられた手法を用いてモデルからバイアスを取り除く。
論文 参考訳(メタデータ) (2023-11-28T16:46:14Z) - Efficient Multimodal Diffusion Models Using Joint Data Infilling with
Partially Shared U-Net [20.437172251393257]
部分共有U-Net (PS-U-Net) は、テキストと画像の入力を専用層を通過させ、モダリティ固有の細かな詳細を保存するためのスキップ接続を可能にする効率的なマルチモーダル拡散モデルである。
また,画像インパインティングに着想を得て,簡単な関節分布の学習を必要とせず,条件付き生成の新しいシナリオを導入する,効率的なマルチモーダルサンプリング手法を提案する。
我々はMS-COCOデータセットを実験的に探索し,既存のマルチモーダル拡散モデルと比較して高画質のマルチモーダルテキストと画像データを生成することを示した。
論文 参考訳(メタデータ) (2023-11-28T04:34:44Z) - Learning multi-modal generative models with permutation-invariant
encoders and tighter variational bounds [6.062751776009752]
マルチモーダルデータに対する深い潜伏変数モデルの開発は、機械学習研究において長年のテーマであった。
本研究では、データログのような境界を厳格に下げることができる変動境界について考察する。
我々は、異なるモダリティから符号化された特徴を組み合わせることで、PoE や MoE のアプローチを一般化するより柔軟なアグリゲーションスキームを開発する。
論文 参考訳(メタデータ) (2023-09-01T10:32:21Z) - Multi-modal Latent Diffusion [8.316365279740188]
多モード変分オートエンコーダ(Multi-modal Variational Autoencoder)は、様々なモダリティの合同表現を学習することを目的とした、一般的なモデルのファミリーである。
既存のアプローチはコヒーレンス品質のトレードオフに悩まされており、優れた世代品質のモデルはモダリティ間で生成コヒーレンスを欠いている。
独立に訓練された一様・一様・決定論的オートエンコーダの集合を用いる新しい手法を提案する。
論文 参考訳(メタデータ) (2023-06-07T14:16:44Z) - Generalizing Multimodal Variational Methods to Sets [35.69942798534849]
本稿では,マルチモーダル潜在空間を学習するために,Set Multimodal VAE(SMVAE)と呼ばれる新しい変分法を提案する。
共同モダリティ後部分布を直接モデル化することにより、提案したSMVAEは、複数のモダリティ間で情報を交換し、分解による欠点を補うことを学習する。
論文 参考訳(メタデータ) (2022-12-19T23:50:19Z) - Multi-scale Attention Flow for Probabilistic Time Series Forecasting [68.20798558048678]
マルチスケールアテンション正規化フロー(MANF)と呼ばれる非自己回帰型ディープラーニングモデルを提案する。
我々のモデルは累積誤差の影響を回避し、時間の複雑さを増大させない。
本モデルは,多くの多変量データセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2022-05-16T07:53:42Z) - Variational Dynamic Mixtures [18.730501689781214]
逐次潜伏変数を推定するための変分動的混合(VDM)を開発した。
実証実験により、VDMは、高マルチモーダルデータセットにおける競合するアプローチよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-10-20T16:10:07Z) - Relating by Contrasting: A Data-efficient Framework for Multimodal
Generative Models [86.9292779620645]
生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。
提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
論文 参考訳(メタデータ) (2020-07-02T15:08:11Z) - Unsupervised multi-modal Styled Content Generation [61.040392094140245]
UMMGANは、教師なし方式でマルチモーダル分布をモデル化するために設計された新しいアーキテクチャである。
UMMGANはモードとスタイルを効果的に切り離し、生成したコンテンツに対して独立した制御を行うことができることを示す。
論文 参考訳(メタデータ) (2020-01-10T19:36:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。