論文の概要: Unifying Multimodal Transformer for Bi-directional Image and Text Generation

• arxiv url: http://arxiv.org/abs/2110.09753v1
• Date: Tue, 19 Oct 2021 06:01:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-20 13:11:27.465927
• Title: Unifying Multimodal Transformer for Bi-directional Image and Text Generation
• Title（参考訳）: 双方向画像とテキスト生成のための統一マルチモーダルトランス
• Authors: Yupan Huang, Hongwei Xue, Bei Liu, Yutong Lu
• Abstract要約: 本研究では,自然な双方向タスクである画像・テキスト・テキスト・画像世代の共同学習について検討する。 双方向タスクを共同で研究するために,単一のマルチモーダルモデルに基づく統合画像・テキスト生成フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 8.547205551848462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the joint learning of image-to-text and text-to-image generations, which are naturally bi-directional tasks. Typical existing works design two separate task-specific models for each task, which impose expensive design efforts. In this work, we propose a unified image-and-text generative framework based on a single multimodal model to jointly study the bi-directional tasks. We adopt Transformer as our unified architecture for its strong performance and task-agnostic design. Specifically, we formulate both tasks as sequence generation tasks, where we represent images and text as unified sequences of tokens, and the Transformer learns multimodal interactions to generate sequences. We further propose two-level granularity feature representations and sequence-level training to improve the Transformer-based unified framework. Experiments show that our approach significantly improves previous Transformer-based model X-LXMERT's FID from 37.0 to 29.9 (lower is better) for text-to-image generation, and improves CIDEr-D score from 100.9% to 122.6% for fine-tuned image-to-text generation on the MS-COCO dataset. Our code is available online.
• Abstract（参考訳）: 本研究では,自然な双方向タスクである画像・テキスト・テキスト・画像世代の共同学習について検討する。 典型的な既存の作業では、タスクごとに2つのタスク固有のモデルを設計する。 本稿では,双方向タスクを共同研究するために,単一マルチモーダルモデルに基づく統一的な画像・テキスト生成フレームワークを提案する。 強力なパフォーマンスとタスクに依存しない設計のために、統合アーキテクチャとしてTransformerを採用しています。 具体的には、両方のタスクをシーケンス生成タスクとして定式化し、画像とテキストをトークンの統一シーケンスとして表現し、Transformerはシーケンスを生成するマルチモーダルインタラクションを学習する。 さらに,トランスフォーマティブベースの統一フレームワークを改善するために,2段階の粒度特徴表現とシーケンスレベルのトレーニングを提案する。 実験により,従来のトランスフォーマーベースモデルであるX-LXMERTのFIDを37.0から29.9に改善し,CIDEr-Dスコアを100.9%から122.6%に改善した。 私たちのコードはオンラインで入手できる。

関連論文リスト

• Instruct-Imagen: Image Generation with Multi-modal Instruction [90.04481955523514]
  Instruct-imagenは、不均一な画像生成タスクに取り組み、目に見えないタスクを一般化するモデルである。 画像生成のための*multi-modal instruction*を導入する。 画像生成データセットの人間による評価では、インストラクション・イメージはドメイン内の以前のタスク固有のモデルと一致するか、超えている。
  論文  参考訳（メタデータ） (2024-01-03T19:31:58Z)
• Unifying Two-Stream Encoders with Transformers for Cross-Modal Retrieval [68.61855682218298]
  クロスモーダル検索法では、画像とテキストの異なるアーキテクチャを持つ2ストリームエンコーダを用いる。 視覚タスクにおけるトランスフォーマーの最近の進歩に触発されて,トランスフォーマーとエンコーダアーキテクチャを両モードで統一することを提案する。 我々は、画像変換器、テキスト変換器、階層アライメントモジュールからなる2ストリーム変換器(textbfHierarchical Alignment Transformers, HAT)を純粋にベースとしたクロスモーダル検索フレームワークを設計する。
  論文  参考訳（メタデータ） (2023-08-08T15:43:59Z)
• Scaling Autoregressive Models for Content-Rich Text-to-Image Generation [95.02406834386814]
  Partiは、テキスト・ツー・イメージ生成をシーケンス・ツー・シーケンス・モデリング問題として扱う。 PartiはTransformerベースの画像トークンライザViT-VQGANを使用して、画像を離散トークンのシーケンスとしてエンコードする。 PartiPrompts (P2)は1600以上の英語のプロンプトの総合的なベンチマークである。
  論文  参考訳（メタデータ） (2022-06-22T01:11:29Z)
• GIT: A Generative Image-to-text Transformer for Vision and Language [138.91581326369837]
  我々は、画像/映像キャプションや質問応答などの視覚言語タスクを統合するために、生成画像からテキストへ変換するGITを訓練する。 われわれのモデルはTextCaps(CIDErで138.2対125.5)で初めて人間のパフォーマンスを上回った。
  論文  参考訳（メタデータ） (2022-05-27T17:03:38Z)
• CogView2: Faster and Better Text-to-Image Generation via Hierarchical Transformers [17.757983821569994]
  新しいテキスト・ツー・イメージシステムであるCogView2は、最先端のDALL-E-2と比較して非常に競争力のある生成である。
  論文  参考訳（メタデータ） (2022-04-28T15:51:11Z)
• ERNIE-ViLG: Unified Generative Pre-training for Bidirectional Vision-Language Generation [22.47279425592133]
  ERNIE-ViLGは,双方向画像テキスト生成のための統合型事前学習フレームワークである。 テキスト・ツー・イメージ生成プロセスにおいて,視覚的シーケンス生成器と画像再構成器を協調的に学習するエンドツーエンド・トレーニング手法を提案する。 我々は,1億4500万(中国語)の画像テキストペアからなる大規模データセット上で,10ビリオンパラメータERNIE-ViLGモデルをトレーニングする。
  論文  参考訳（メタデータ） (2021-12-31T03:53:33Z)
• Analogous to Evolutionary Algorithm: Designing a Unified Sequence Model [58.17021225930069]
  実演的進化アルゴリズム(EA)と類似した視覚変換器の合理性について説明する。 我々は、より効率的なEATモデルを提案し、様々なタスクに柔軟に対処するタスク関連ヘッドを設計する。 近年のビジョントランスに比べて,イメージネット分類作業における最先端の成果が得られている。
  論文  参考訳（メタデータ） (2021-05-31T16:20:03Z)
• Improving Generation and Evaluation of Visual Stories via Semantic Consistency [72.00815192668193]
  一連の自然言語キャプションが与えられた場合、エージェントはキャプションに対応する一連の画像を生成する必要がある。 それまでの作業では、このタスクで合成テキスト・画像モデルより優れた繰り返し生成モデルを導入してきた。 従来のモデリング手法には、デュアルラーニングフレームワークの追加など、いくつかの改善点を提示する。
  論文  参考訳（メタデータ） (2021-05-20T20:42:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。