論文の概要: A Picture is Worth a Thousand Words: A Unified System for Diverse Captions and Rich Images Generation

• arxiv url: http://arxiv.org/abs/2110.09756v1
• Date: Tue, 19 Oct 2021 06:10:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-20 14:00:19.258830
• Title: A Picture is Worth a Thousand Words: A Unified System for Diverse Captions and Rich Images Generation
• Title（参考訳）: a picture is worth a thousand words: 多様なキャプションと豊かな画像生成のための統一システム
• Authors: Yupan Huang, Bei Liu, Jianlong Fu, Yutong Lu
• Abstract要約: 創造的な画像とテキスト生成AIシステムは、人間の異常な能力を模倣し、多様な包括的なキャプション提案を提供する。 本研究では,多様なキャプションとリッチな画像を生成するAI生成システムを実証する。
• 参考スコア（独自算出の注目度）: 35.11334251754343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A creative image-and-text generative AI system mimics humans' extraordinary abilities to provide users with diverse and comprehensive caption suggestions, as well as rich image creations. In this work, we demonstrate such an AI creation system to produce both diverse captions and rich images. When users imagine an image and associate it with multiple captions, our system paints a rich image to reflect all captions faithfully. Likewise, when users upload an image, our system depicts it with multiple diverse captions. We propose a unified multi-modal framework to achieve this goal. Specifically, our framework jointly models image-and-text representations with a Transformer network, which supports rich image creation by accepting multiple captions as input. We consider the relations among input captions to encourage diversity in training and adopt a non-autoregressive decoding strategy to enable real-time inference. Based on these, our system supports both diverse captions and rich images generations. Our code is available online.
• Abstract（参考訳）: 創造的な画像とテキスト生成AIシステムは、人間の異常な能力を模倣し、多様な包括的なキャプション提案とリッチな画像生成を提供する。 本研究では,多彩なキャプションと豊かな画像を生成するようなai生成システムを提案する。 ユーザがイメージを想像して複数のキャプションに関連付けると、システムはリッチな画像を描き、すべてのキャプションを忠実に反映する。 同様に、ユーザーが画像をアップロードすると、システムはそれを複数のキャプションで表現する。 我々は,この目標を達成するための統合マルチモーダルフレームワークを提案する。 具体的には,複数のキャプションを入力として入力することでリッチな画像生成をサポートするトランスフォーマーネットワークを用いて,画像とテキストの表現を協調的にモデル化する。 入力キャプション間の関係は,訓練における多様性を奨励し,非自己回帰的復号化戦略を採用してリアルタイム推論を可能にする。 これらのことから,本システムは多様なキャプションとリッチ画像の生成をサポートする。 私たちのコードはオンラインで入手できる。

関連論文リスト

• Many-to-many Image Generation with Auto-regressive Diffusion Models [59.5041405824704]
  本稿では,与えられた画像集合から関連画像系列を生成可能な多対多画像生成のためのドメイン汎用フレームワークを提案する。 我々は,25個の相互接続された画像を含む12Mの合成マルチイメージサンプルを含む,新しい大規模マルチイメージデータセットMISを提案する。 我々はM2Mを学習し、M2Mは多対多生成のための自己回帰モデルであり、各画像は拡散フレームワーク内でモデル化される。
  論文  参考訳（メタデータ） (2024-04-03T23:20:40Z)
• UNIMO-G: Unified Image Generation through Multimodal Conditional Diffusion [36.06457895469353]
  UNIMO-Gは条件付き拡散フレームワークであり、インターリーブされたテキストと視覚入力を持つマルチモーダルプロンプトで動作する。 テキスト・ツー・イメージ生成とゼロショット・テーマ駆動合成の両面で優れている。
  論文  参考訳（メタデータ） (2024-01-24T11:36:44Z)
• Unified Multi-Modal Latent Diffusion for Joint Subject and Text Conditional Image Generation [63.061871048769596]
  本稿では, 特定対象を含む画像と共同テキストを入力シーケンスとして用いた, Unified Multi-Modal Latent Diffusion (UMM-Diffusion) を提案する。 より具体的には、入力テキストと画像の両方を1つの統一マルチモーダル潜在空間に符号化する。 入力テキストと画像の両面から複雑な意味を持つ高品質な画像を生成することができる。
  論文  参考訳（メタデータ） (2023-03-16T13:50:20Z)
• Generating image captions with external encyclopedic knowledge [1.452875650827562]
  我々は、画像固有の百科事典データを広範囲に活用するエンドツーエンドのキャプション生成システムを構築した。 われわれのアプローチは、画像位置を用いて、外部知識ベースで関連するオープンドメインの事実を識別する新しい方法を含む。 我々のシステムは、自然に生成された知識に富んだキャプションを持つ新しいデータセットで訓練され、テストされている。
  論文  参考訳（メタデータ） (2022-10-10T16:09:21Z)
• CapOnImage: Context-driven Dense-Captioning on Image [13.604173177437536]
  画像上のキャプション(CapOnImage)と呼ばれる新しいタスクを導入し、コンテキスト情報に基づいて画像の異なる場所で高密度キャプションを生成する。 テキストと画像位置の対応を段階的に学習するマルチレベル事前学習タスクを備えたマルチモーダル事前学習モデルを提案する。 他の画像キャプションモデルと比較すると、キャプション精度と多様性の両面で最良の結果が得られる。
  論文  参考訳（メタデータ） (2022-04-27T14:40:31Z)
• MAGIC: Multimodal relAtional Graph adversarIal inferenCe for Diverse and Unpaired Text-based Image Captioning [46.4308182215488]
  テキストベースの画像は、豊富で複雑なマルチモーダルリレーショナルコンテンツを直感的に含む。 マルチモーダル relAtional Graph adversarIal inferenCe framework for various and unpaired TextCap。 画像の異なる関係情報項目から多種多様なキャプションを生成するためのMAGICの有効性を検証する。
  論文  参考訳（メタデータ） (2021-12-13T11:00:49Z)
• TediGAN: Text-Guided Diverse Face Image Generation and Manipulation [52.83401421019309]
  TediGANはマルチモーダル画像生成とテキスト記述による操作のためのフレームワークである。 StyleGANインバージョンモジュールは、よく訓練されたStyleGANの潜在空間に実際の画像をマッピングする。 視覚言語的類似性は、画像とテキストを共通の埋め込み空間にマッピングすることで、テキスト画像マッチングを学ぶ。 インスタンスレベルの最適化は、操作におけるID保存のためのものだ。
  論文  参考訳（メタデータ） (2020-12-06T16:20:19Z)
• Retrieval Guided Unsupervised Multi-domain Image-to-Image Translation [59.73535607392732]
  画像から画像への変換は、ある視覚領域から別の領域へ画像を変換するマッピングを学ぶことを目的としている。 本稿では,画像から画像への変換作業を支援するための画像検索システムを提案する。
  論文  参考訳（メタデータ） (2020-08-11T20:11:53Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。