論文の概要: Discriminative Multimodal Learning via Conditional Priors in Generative Models

• arxiv url: http://arxiv.org/abs/2110.04616v1
• Date: Sat, 9 Oct 2021 17:22:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 15:33:44.765594
• Title: Discriminative Multimodal Learning via Conditional Priors in Generative Models
• Title（参考訳）: 生成モデルにおける条件付き事前学習による識別型マルチモーダル学習
• Authors: Rogelio A. Mancisidor, Michael Kampffmeyer, Kjersti Aas, Robert Jenssen
• Abstract要約: 本研究は,モデルトレーニングにおいて,すべてのモダリティとクラスラベルが利用できる現実的なシナリオについて研究する。 このシナリオでは、変動的な下界境界は、結合表現と欠測モダリティの間の相互情報を制限する。
• 参考スコア（独自算出の注目度）: 21.166519800652047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep generative models with latent variables have been used lately to learn joint representations and generative processes from multi-modal data. These two learning mechanisms can, however, conflict with each other and representations can fail to embed information on the data modalities. This research studies the realistic scenario in which all modalities and class labels are available for model training, but where some modalities and labels required for downstream tasks are missing. We show, in this scenario, that the variational lower bound limits mutual information between joint representations and missing modalities. We, to counteract these problems, introduce a novel conditional multi-modal discriminative model that uses an informative prior distribution and optimizes a likelihood-free objective function that maximizes mutual information between joint representations and missing modalities. Extensive experimentation shows the benefits of the model we propose, the empirical results showing that our model achieves state-of-the-art results in representative problems such as downstream classification, acoustic inversion and annotation generation.
• Abstract（参考訳）: 潜在変数を持つ深い生成モデルは最近マルチモーダルデータから共同表現と生成過程を学ぶのに使われている。 しかし、これらの2つの学習メカニズムは互いに衝突し、表現がデータモダリティの情報を埋め込むことができない可能性がある。 本研究は、モデルトレーニングで全てのモダリティとクラスラベルが利用できるが、下流タスクに必要なモダリティとラベルが欠けている現実的なシナリオを研究する。 このシナリオでは、変動的な下界境界は、結合表現と欠測モダリティの間の相互情報を制限する。 これらの問題を解決するために,情報的事前分布を用いた条件付きマルチモーダル判別モデルを導入し,協調表現と欠落モダリティ間の相互情報を最大化する確率自由目的関数を最適化する。 広範な実験により,提案モデルの有効性を示し,下流分類,音響インバージョン,アノテーション生成などの代表的な問題において,本モデルが最先端の結果を得ることを示す実験結果を得た。

関連論文リスト

• On Modality Bias Recognition and Reduction [70.69194431713825]
  マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。 本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。 本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2022-02-25T13:47:09Z)
• Self-attention fusion for audiovisual emotion recognition with incomplete data [103.70855797025689]
  視覚的感情認識を応用したマルチモーダルデータ解析の問題点を考察する。 本稿では、生データから学習可能なアーキテクチャを提案し、その3つの変種を異なるモダリティ融合機構で記述する。
  論文  参考訳（メタデータ） (2022-01-26T18:04:29Z)
• An Ample Approach to Data and Modeling [1.0152838128195467]
  さまざまな分野の概念とメソッドを統合するモデルの構築方法をモデル化するためのフレームワークについて説明する。 参照M*メタモデルフレームワークは、厳密な同値関係の観点からデータセットと各モデルの関連付けに批判的に依存する。 開発されたフレームワークがデータクラスタリング、複雑性、共同研究、ディープラーニング、クリエイティビティに関する洞察を提供する方法について、いくつかの考察がなされている。
  論文  参考訳（メタデータ） (2021-10-05T01:26:09Z)
• Learning Multimodal VAEs through Mutual Supervision [72.77685889312889]
  MEMEは、相互監督を通じて暗黙的にモダリティ間の情報を結合する。 我々は、MEMEが、部分的および完全観察スキームの双方で標準メトリクスのベースラインを上回ることを実証する。
  論文  参考訳（メタデータ） (2021-06-23T17:54:35Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modelling [36.511724015405036]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 モデルが相関変数を学習するのに十分な能力を持っていないため,不整合表現学習と再構成品質のトレードオフがもたらされる。 本稿では,既存の不整合表現学習手法を用いて,非整合因子をまず学習する,新しい多段階モデリング手法を提案する。 提案するマルチステージモデルは,複数の標準ベンチマークにおいて等価なアンタングル性能を有する現在の最先端手法よりも,はるかに高い再現性を有することを示す。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)
• Relating by Contrasting: A Data-efficient Framework for Multimodal Generative Models [86.9292779620645]
  生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。 提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
  論文  参考訳（メタデータ） (2020-07-02T15:08:11Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• MHVAE: a Human-Inspired Deep Hierarchical Generative Model for Multimodal Representation Learning [8.70928211339504]
  表現学習のための階層型マルチモーダル生成モデルであるMHVAE(Multimodal Hierarchical Vari Auto-Encoder)をコントリビュートする。 人間の認知モデルにインスパイアされたMHVAEは、モダリティ固有の分布と、モダリティ間の推論に責任を持つ共同モダリティ分布を学習することができる。 本モデルは,任意の入力モダリティと相互モダリティ推定による共同モダリティ再構成に関する他の最先端生成モデルと同等に機能する。
  論文  参考訳（メタデータ） (2020-06-04T16:24:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。