論文の概要: Unconditional Image-Text Pair Generation with Multimodal Cross Quantizer

• arxiv url: http://arxiv.org/abs/2204.07537v1
• Date: Fri, 15 Apr 2022 16:29:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-18 14:58:24.340580
• Title: Unconditional Image-Text Pair Generation with Multimodal Cross Quantizer
• Title（参考訳）: マルチモーダルクロス量子化器を用いた無条件画像テキスト対生成
• Authors: Hyungyung Lee, Sungjin Park, Edward Choi
• Abstract要約: マルチモーダル画像テキスト表現のためのベクトル量子化手法MXQ-VAEを提案する。 MXQ-VAEはペア画像とテキストを入力として受け入れ、共同量子化表現空間を学習する。 自己回帰生成モデルを用いて、共同画像-テキスト表現をモデル化し、無条件画像-テキストペア生成を行う。
• 参考スコア（独自算出の注目度）: 8.069590683507997
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Though deep generative models have gained a lot of attention, most of the existing works are designed for the unimodal generation task. In this paper, we explore a new method for unconditional image-text pair generation. We propose MXQ-VAE, a vector quantization method for multimodal image-text representation. MXQ-VAE accepts a paired image and text as input, and learns a joint quantized representation space, so that the image-text pair can be converted to a sequence of unified indices. Then we can use autoregressive generative models to model the joint image-text representation, and even perform unconditional image-text pair generation. Extensive experimental results demonstrate that our approach effectively generates semantically consistent image-text pair and also enhances meaningful alignment between image and text.
• Abstract（参考訳）: 深層生成モデルは注目されているが、既存の作品の多くは一助生成作業のために設計されている。 本稿では,非条件画像-テキストペア生成のための新しい手法を提案する。 マルチモーダル画像テキスト表現のためのベクトル量子化手法MXQ-VAEを提案する。 MXQ-VAEは、ペア化された画像とテキストを入力として受け入れ、共同量子化された表現空間を学習し、画像とテキストのペアを統一されたインデックスのシーケンスに変換する。 次に、自己回帰生成モデルを用いて、共同画像-テキスト表現をモデル化し、無条件画像-テキストペア生成を行う。 広範な実験結果から,本手法は意味的に一貫性のある画像テキスト対を効果的に生成すると同時に,画像とテキスト間の有意義なアライメントも向上することが示された。

関連論文リスト

• Leveraging Unpaired Data for Vision-Language Generative Models via Cycle Consistency [47.3163261953469]
  現在の視覚言語生成モデルは、最適な性能と一般化能力を達成するために、ペア画像テキストデータの拡張コーパスに依存している。 サイクル整合性の概念に基づく革新的なトレーニングパラダイムであるITITを導入する。 ITITは、分離された画像とテキストデコーダを備えたジョイントな画像テキストエンコーダで構成され、単一のフレームワークで双方向の画像テキスト生成とテキスト画像生成を可能にする。
  論文  参考訳（メタデータ） (2023-10-05T17:55:19Z)
• TextCLIP: Text-Guided Face Image Generation And Manipulation Without Adversarial Training [5.239585892767183]
  本研究では,テキスト誘導画像生成と操作のための統合フレームワークであるTextCLIPを提案する。 提案手法は,テキスト誘導型生成タスクと操作タスクの両方において,既存の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-09-21T09:34:20Z)
• Learning to Generate Semantic Layouts for Higher Text-Image Correspondence in Text-to-Image Synthesis [37.32270579534541]
  利用可能なセマンティックレイアウトを活用することで,テキスト画像の対応性を向上させる新しい手法を提案する。 提案手法は,Multi-Modal CelebA-HQおよびCityscapesデータセットにおける既存のテキスト・画像生成手法と比較して,高いテキスト・画像対応を実現する。
  論文  参考訳（メタデータ） (2023-08-16T05:59:33Z)
• Zero-shot spatial layout conditioning for text-to-image diffusion models [52.24744018240424]
  大規模テキスト・画像拡散モデルでは、生成画像モデリングにおける技術の現状が大幅に改善されている。 画像キャンバスのセグメントに関連付けられたテキストからの画像生成を考察し、直感的な自然言語インタフェースと生成されたコンテンツの正確な空間制御を組み合わせた。 ZestGuideは,事前学習したテキスト・画像拡散モデルにプラグイン可能なゼロショットセグメンテーション誘導手法である。
  論文  参考訳（メタデータ） (2023-06-23T19:24:48Z)
• Generating Images with Multimodal Language Models [78.6660334861137]
  本稿では,凍結したテキストのみの大規模言語モデルを,事前学習した画像エンコーダとデコーダモデルで融合する手法を提案する。 本モデルでは,画像検索,新しい画像生成,マルチモーダル対話など,多モーダルな機能群を示す。
  論文  参考訳（メタデータ） (2023-05-26T19:22:03Z)
• Unified Multi-Modal Latent Diffusion for Joint Subject and Text Conditional Image Generation [63.061871048769596]
  本稿では, 特定対象を含む画像と共同テキストを入力シーケンスとして用いた, Unified Multi-Modal Latent Diffusion (UMM-Diffusion) を提案する。 より具体的には、入力テキストと画像の両方を1つの統一マルチモーダル潜在空間に符号化する。 入力テキストと画像の両面から複雑な意味を持つ高品質な画像を生成することができる。
  論文  参考訳（メタデータ） (2023-03-16T13:50:20Z)
• Towards Open-World Text-Guided Face Image Generation and Manipulation [52.83401421019309]
  顔画像生成と操作の両方に統一的なフレームワークを提案する。 本手法は,画像とテキストの両方を含むオープンワールドシナリオをサポートし,再トレーニングや微調整,後処理は行わない。
  論文  参考訳（メタデータ） (2021-04-18T16:56:07Z)
• TediGAN: Text-Guided Diverse Face Image Generation and Manipulation [52.83401421019309]
  TediGANはマルチモーダル画像生成とテキスト記述による操作のためのフレームワークである。 StyleGANインバージョンモジュールは、よく訓練されたStyleGANの潜在空間に実際の画像をマッピングする。 視覚言語的類似性は、画像とテキストを共通の埋め込み空間にマッピングすることで、テキスト画像マッチングを学ぶ。 インスタンスレベルの最適化は、操作におけるID保存のためのものだ。
  論文  参考訳（メタデータ） (2020-12-06T16:20:19Z)
• XGPT: Cross-modal Generative Pre-Training for Image Captioning [80.26456233277435]
  XGPTは画像キャプチャのためのクロスモーダル生成前訓練法である。 テキスト・ツー・イメージ・キャプション・ジェネレータを3つの新しい生成タスクで事前訓練するように設計されている。 XGPTはタスク固有のアーキテクチャ変更なしに微調整できる。
  論文  参考訳（メタデータ） (2020-03-03T12:13:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。