論文の概要: Learning to Imagine: Visually-Augmented Natural Language Generation

• arxiv url: http://arxiv.org/abs/2305.16944v3
• Date: Thu, 15 Jun 2023 06:25:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-17 00:29:44.401376
• Title: Learning to Imagine: Visually-Augmented Natural Language Generation
• Title（参考訳）: 概念を学ぶ:視覚的に拡張された自然言語生成
• Authors: Tianyi Tang, Yushuo Chen, Yifan Du, Junyi Li, Wayne Xin Zhao, and Ji-Rong Wen
• Abstract要約: 本稿では,事前学習型言語モデル(PLM)を視覚的に拡張した自然言語gEnerationのために学習する手法を提案する。 拡散モデルを用いて、入力テキストに条件付き高品質な画像を合成する。 段落全体に対して1つの画像のみを生成するのではなく、各文に対して合成を行う。
• 参考スコア（独自算出の注目度）: 73.65760028876943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: People often imagine relevant scenes to aid in the writing process. In this work, we aim to utilize visual information for composition in the same manner as humans. We propose a method, LIVE, that makes pre-trained language models (PLMs) Learn to Imagine for Visuallyaugmented natural language gEneration. First, we imagine the scene based on the text: we use a diffusion model to synthesize high-quality images conditioned on the input texts. Second, we use CLIP to determine whether the text can evoke the imagination in a posterior way. Finally, our imagination is dynamic, and we conduct synthesis for each sentence rather than generate only one image for an entire paragraph. Technically, we propose a novel plug-and-play fusion layer to obtain visually-augmented representations for each text. Our vision-text fusion layer is compatible with Transformerbased architecture. We have conducted extensive experiments on four generation tasks using BART and T5, and the automatic results and human evaluation demonstrate the effectiveness of our proposed method. We will release the code, model, and data at the link: https://github.com/RUCAIBox/LIVE.
• Abstract（参考訳）: 人々はしばしば、執筆プロセスを支援するために関連するシーンを想像します。 本研究では,人間と同じような構成で視覚情報を活用することを目的とする。 本稿では,事前学習型言語モデル(PLM)を視覚的に拡張した自然言語gEnerationのために学習するLIVEを提案する。 まず,テキストに基づくシーンを想像する。我々は拡散モデルを用いて,入力テキストを条件とした高品質な画像を合成する。 次に、CLIPを使用して、テキストが後方方向のイマジネーションを誘発できるかどうかを判断する。 最後に、想像力は動的であり、段落全体に対して1つの画像だけを生成するのではなく、各文の合成を行います。 技術的には、各テキストに対する視覚的に拡張された表現を得るために、新しいプラグアンドプレイ融合層を提案する。 視覚テキスト融合層はトランスフォーマーベースのアーキテクチャと互換性があります。 我々は,BARTとT5を用いた4世代タスクの広範な実験を行い,提案手法の有効性を実証した。 コード、モデル、データをリンクでリリースします。 https://github.com/rucaibox/live。

関連論文リスト

• VLLMs Provide Better Context for Emotion Understanding Through Common Sense Reasoning [66.23296689828152]
  我々は、視覚・言語モデルの機能を活用し、文脈内感情分類を強化する。 第1段階では、VLLMが対象者の明らかな感情の自然言語で記述を生成できるように促すことを提案する。 第2段階では、記述を文脈情報として使用し、画像入力とともに、トランスフォーマーベースのアーキテクチャのトレーニングに使用する。
  論文  参考訳（メタデータ） (2024-04-10T15:09:15Z)
• Beyond Generation: Harnessing Text to Image Models for Object Detection and Segmentation [29.274362919954218]
  精度の高いラベル付きトレーニングデータを自動的に生成する新しいパラダイムを提案する。 提案手法は、トレーニングデータ生成を前景オブジェクト生成とコンテキスト的に一貫性のある背景生成に分離する。 5つのオブジェクト検出とセグメンテーションデータセットに対するアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-09-12T04:41:45Z)
• eDiffi: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers [87.52504764677226]
  大規模拡散に基づく生成モデルは、テキスト条件の高解像度画像合成においてブレークスルーをもたらした。 異なる段階合成に特化したテキスト・画像拡散モデルのアンサンブルを訓練する。 eDiffiと呼ばれる拡散モデルのアンサンブルは、同じ推論コストを維持しながらテキストアライメントを改善する。
  論文  参考訳（メタデータ） (2022-11-02T17:43:04Z)
• Visualize Before You Write: Imagination-Guided Open-Ended Text Generation [68.96699389728964]
  我々は、機械生成画像を用いて、オープンエンドテキスト生成における言語モデルをガイドするiNLGを提案する。 オープンエンドテキスト生成タスクにおけるiNLGの有効性について実験と解析を行った。
  論文  参考訳（メタデータ） (2022-10-07T18:01:09Z)
• Visually-Augmented Language Modeling [137.36789885105642]
  本稿では,言語モデリングのための関連画像を含むテキストトークンを視覚的に拡張する,VaLMという新しい事前学習フレームワークを提案する。 視覚的に拡張されたコンテキストでは、VaLMは視覚知識融合層を使用してマルチモーダル基底言語モデリングを可能にする。 視覚情報を必要とする多モーダル・コモンセンス推論タスクについて,提案モデルの評価を行った。
  論文  参考訳（メタデータ） (2022-05-20T13:41:12Z)
• OptGAN: Optimizing and Interpreting the Latent Space of the Conditional Text-to-Image GANs [8.26410341981427]
  生成したサンプルが信頼でき、現実的、あるいは自然であることを保証する方法について研究する。 本稿では,条件付きテキスト・ツー・イメージGANアーキテクチャの潜在空間における意味論的理解可能な方向を識別するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-02-25T20:00:33Z)
• ImaginE: An Imagination-Based Automatic Evaluation Metric for Natural Language Generation [53.56628907030751]
  我々は、自然言語生成のための想像力に基づく自動評価指標ImaginEを提案する。 CLIPとDALL-Eの助けを借りて、大規模な画像テキストペアで事前訓練された2つのクロスモーダルモデルを作成し、テキストスニペットの具体的想像力として自動的に画像を生成する。 いくつかのテキスト生成タスクにまたがる実験により、我々のImaginEに想像力を加えることは、NLG評価にマルチモーダル情報を導入する大きな可能性を示している。
  論文  参考訳（メタデータ） (2021-06-10T17:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。