論文の概要: Relating by Contrasting: A Data-efficient Framework for Multimodal Generative Models

• arxiv url: http://arxiv.org/abs/2007.01179v2
• Date: Wed, 21 Apr 2021 09:58:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 13:25:35.025500
• Title: Relating by Contrasting: A Data-efficient Framework for Multimodal Generative Models
• Title（参考訳）: 対照的に:マルチモーダル生成モデルのためのデータ効率フレームワーク
• Authors: Yuge Shi, Brooks Paige, Philip H.S. Torr, N. Siddharth
• Abstract要約: 生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。 提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
• 参考スコア（独自算出の注目度）: 86.9292779620645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal learning for generative models often refers to the learning of abstract concepts from the commonality of information in multiple modalities, such as vision and language. While it has proven effective for learning generalisable representations, the training of such models often requires a large amount of "related" multimodal data that shares commonality, which can be expensive to come by. To mitigate this, we develop a novel contrastive framework for generative model learning, allowing us to train the model not just by the commonality between modalities, but by the distinction between "related" and "unrelated" multimodal data. We show in experiments that our method enables data-efficient multimodal learning on challenging datasets for various multimodal VAE models. We also show that under our proposed framework, the generative model can accurately identify related samples from unrelated ones, making it possible to make use of the plentiful unlabeled, unpaired multimodal data.
• Abstract（参考訳）: 生成モデルのマルチモーダル学習は、視覚や言語など、複数のモーダルにおける情報の共通性から抽象概念を学ぶことを指すことが多い。 一般化可能な表現の学習には有効であることが証明されているが、そのようなモデルのトレーニングには、共通性を共有する大量の「関連する」マルチモーダルデータが必要となることが多い。 これを緩和するために、生成モデル学習のための新しいコントラストフレームワークを開発し、モダリティ間の共通性だけでなく、「関連性」と「非関連性」のマルチモーダルデータの区別によってモデルを訓練することができる。 本研究では,様々なマルチモーダルVAEモデルに対する挑戦的データセットに対して,データ効率のよいマルチモーダル学習を実現する実験を行った。 また,提案手法では, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータを利用することが可能であることを示す。

関連論文リスト

• Cross-Modal Few-Shot Learning: a Generative Transfer Learning Framework [58.362064122489166]
  本稿では,複数モーダルからインスタンスを識別するクロスモーダルなFew-Shot Learningタスクを提案する。 本稿では,1つの段階からなる生成的転帰学習フレームワークを提案する。1つは豊富な一助データに対する学習を伴い,もう1つは新しいデータに適応するための転帰学習に焦点を当てる。 以上の結果から,GTLは4つの異なるマルチモーダルデータセット間の最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T16:09:38Z)
• Learning Multimodal Latent Generative Models with Energy-Based Prior [3.6648642834198797]
  EBMに潜時生成モデルを統合する新しいフレームワークを提案する。 このアプローチは、より表現力があり、情報的であり、複数のモダリティにまたがる情報のより良いキャプチャをもたらす。
  論文  参考訳（メタデータ） (2024-09-30T01:38:26Z)
• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)
• Learning multi-modal generative models with permutation-invariant encoders and tighter variational objectives [5.549794481031468]
  マルチモーダルデータに対する深い潜伏変数モデルの開発は、機械学習研究において長年のテーマであった。 本研究では,データログ類似度を厳密に近似できる変動目標について考察する。 我々は,PoE や MoE のアプローチにおける帰納バイアスを回避するために,より柔軟なアグリゲーション手法を開発した。
  論文  参考訳（メタデータ） (2023-09-01T10:32:21Z)
• StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized Image-Dialogue Data [129.92449761766025]
  本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。 このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。 本研究は,各種データセットを対象とした総合的な実験を含む。
  論文  参考訳（メタデータ） (2023-08-20T12:43:52Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• Learning Sequential Latent Variable Models from Multimodal Time Series Data [6.107812768939553]
  マルチモーダルデータの確率的潜在状態表現を協調的に学習するための自己教師付き生成モデリングフレームワークを提案する。 提案手法が予測品質と表現品質を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2022-04-21T21:59:24Z)
• Multimodal Adversarially Learned Inference with Factorized Discriminators [10.818838437018682]
  本稿では,生成逆ネットワークに基づくマルチモーダルデータの生成モデリングのための新しい手法を提案する。 コヒーレントなマルチモーダル生成モデルを学習するためには、異なるエンコーダ分布とジョイントデコーダ分布を同時に整合させることが必要であることを示す。 判別器を分解することで、対照的な学習を生かし、単調なデータに基づいてモデルを訓練する。
  論文  参考訳（メタデータ） (2021-12-20T08:18:49Z)
• Discriminative Multimodal Learning via Conditional Priors in Generative Models [21.166519800652047]
  本研究は,モデルトレーニングにおいて,すべてのモダリティとクラスラベルが利用できる現実的なシナリオについて研究する。 このシナリオでは、変動的な下界境界は、結合表現と欠測モダリティの間の相互情報を制限する。
  論文  参考訳（メタデータ） (2021-10-09T17:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。