論文の概要: DialogGen: Multi-modal Interactive Dialogue System for Multi-turn Text-to-Image Generation

• arxiv url: http://arxiv.org/abs/2403.08857v2
• Date: Wed, 3 Jul 2024 13:09:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 19:54:15.946990
• Title: DialogGen: Multi-modal Interactive Dialogue System for Multi-turn Text-to-Image Generation
• Title（参考訳）: DialogGen:マルチターンテキスト・画像生成のためのマルチモーダル対話システム
• Authors: Minbin Huang, Yanxin Long, Xinchi Deng, Ruihang Chu, Jiangfeng Xiong, Xiaodan Liang, Hong Cheng, Qinglin Lu, Wei Liu,
• Abstract要約: 市販のMLLMとT2Iモデルを連携させてマルチモーダル対話システムを構築するためのDialogGenを提案する。 描画プロンプトアライメント、注意深いトレーニングデータキュレーション、エラー修正で構成されている。 ダイアログジェネレーションとユーザスタディに関する実験は、他の最先端モデルと比較してダイアログジェネレーションの有効性を実証している。
• 参考スコア（独自算出の注目度）: 46.085482021301516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-to-image (T2I) generation models have significantly advanced in recent years. However, effective interaction with these models is challenging for average users due to the need for specialized prompt engineering knowledge and the inability to perform multi-turn image generation, hindering a dynamic and iterative creation process. Recent attempts have tried to equip Multi-modal Large Language Models (MLLMs) with T2I models to bring the user's natural language instructions into reality. Hence, the output modality of MLLMs is extended, and the multi-turn generation quality of T2I models is enhanced thanks to the strong multi-modal comprehension ability of MLLMs. However, many of these works face challenges in identifying correct output modalities and generating coherent images accordingly as the number of output modalities increases and the conversations go deeper. Therefore, we propose DialogGen, an effective pipeline to align off-the-shelf MLLMs and T2I models to build a Multi-modal Interactive Dialogue System (MIDS) for multi-turn Text-to-Image generation. It is composed of drawing prompt alignment, careful training data curation, and error correction. Moreover, as the field of MIDS flourishes, comprehensive benchmarks are urgently needed to evaluate MIDS fairly in terms of output modality correctness and multi-modal output coherence. To address this issue, we introduce the Multi-modal Dialogue Benchmark (DialogBen), a comprehensive bilingual benchmark designed to assess the ability of MLLMs to generate accurate and coherent multi-modal content that supports image editing. It contains two evaluation metrics to measure the model's ability to switch modalities and the coherence of the output images. Our extensive experiments on DialogBen and user study demonstrate the effectiveness of DialogGen compared with other State-of-the-Art models.
• Abstract（参考訳）: テキスト・ツー・イメージ(T2I)生成モデルは近年大きく進歩している。 しかし、これらのモデルとの効果的なインタラクションは、エンジニアリングの専門知識が必要であり、マルチターン画像生成ができないため、動的かつ反復的な生成プロセスを妨げているため、平均的なユーザにとって困難である。 近年,マルチモーダル大規模言語モデル (MLLM) をT2Iモデルと組み合わせて,ユーザの自然言語命令を現実化しようとする試みが試みられている。 したがって、MLLMの出力モダリティが拡張され、MLLMの強いマルチモーダル理解能力により、T2Iモデルのマルチターン生成品質が向上する。 しかし、これらの研究の多くは、正確な出力モダリティを識別し、出力モダリティの数が増え、会話が深まるにつれて、コヒーレントな画像を生成するという課題に直面している。 そこで本研究では,マルチターンテキスト・トゥ・イメージ生成のための多モード対話システム(MIDS)を構築するために,市販のMLLMとT2Iモデルを連携させる効果的なパイプラインであるDialogGenを提案する。 描画プロンプトアライメント、注意深いトレーニングデータキュレーション、エラー修正で構成されている。 さらに、MIDSの分野が繁栄するにつれて、MIDSの出力モダリティの正しさとマルチモーダル出力のコヒーレンスの観点から、MIDSを公平に評価するためには、包括的なベンチマークが緊急に必要となる。 この問題に対処するために,MLLMが画像編集をサポートする正確で一貫性のあるマルチモーダルコンテンツを生成する能力を評価するための総合的バイリンガルベンチマークであるMulti-modal Dialogue Benchmark(DialogBen)を導入する。 モデルがモダリティと出力画像のコヒーレンスを切り替える能力を測定するための2つの評価指標を含んでいる。 DialogBenとユーザスタディに関する広範な実験は、他のState-of-the-Artモデルと比較してダイアログGenの有効性を実証している。

関連論文リスト

• MAGID: An Automated Pipeline for Generating Synthetic Multi-modal Datasets [29.737965533532577]
  Multimodal Augmented Generative Images Dialogues (MAGID) はテキストのみの対話を多種多様な高品質の画像で拡張するためのフレームワークである。 その結果,MAGIDはベースラインと同等かそれ以上であり,人体評価の大幅な改善が見られた。
  論文  参考訳（メタデータ） (2024-03-05T18:31:28Z)
• Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
  マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。 本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-03-05T13:45:46Z)
• DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever [83.33209603041013]
  マルチモーダルダイアログ検索のためのパラメータ効率の高いプロンプトチューニング手法であるDialCLIPを提案する。 提案手法では,事前学習された視覚言語モデルCLIP内のプロンプトに抽出された文脈特徴を学習するためのマルチモーダルコンテキスト生成手法を提案する。 様々なタイプの検索を容易にするために,CLIP出力からマルチモーダル表現空間へのマッピングを学習するために,複数の専門家を設計する。
  論文  参考訳（メタデータ） (2024-01-02T07:40:12Z)
• CoDi-2: In-Context, Interleaved, and Interactive Any-to-Any Generation [88.33780780220091]
  CoDi-2は汎用的でインタラクティブなマルチモーダル言語モデル(MLLM)である 複雑なマルチモーダルなインターリーブ命令に従うことができ、ICL(In-context Learning)、理性、チャット、編集などを実行することができる。
  論文  参考訳（メタデータ） (2023-11-30T18:21:25Z)
• DeepSpeed-VisualChat: Multi-Round Multi-Image Interleave Chat via Multi-Modal Causal Attention [55.2825684201129]
  DeepSpeed-VisualChatは、マルチモーダル機能を組み込むことで、LLM(Large Language Models)を最適化するように設計されている。 筆者らのフレームワークは,(1)マルチラウンド・マルチイメージ対話のオープンソースサポート,(2)革新的なマルチモーダル因果注意機構の導入,(3)既存のデータセットにデータブレンディング技術を活用してシームレスな対話を実現すること,などが特徴である。
  論文  参考訳（メタデータ） (2023-09-25T17:53:29Z)
• IMAD: IMage-Augmented multi-modal Dialogue [0.043847653914745384]
  本稿では,対話の文脈でイメージを解釈するマルチモーダル対話システムについて,新しい視点を提示する。 マルチモーダル対話データセットを自動構築する2段階の手法を提案する。 最初の段階では、テキストと画像の類似性と文の類似性を利用して、どの発話を画像に置き換えるかを識別する。 第2段階では、関連する画像のサブセットを選択し、視覚的質問応答モデルでフィルタリングすることで、これらの発話を置き換える。
  論文  参考訳（メタデータ） (2023-05-17T18:38:10Z)
• mPLUG-2: A Modularized Multi-modal Foundation Model Across Text, Image and Video [89.19867891570945]
  mPLUG-2は、マルチモーダル事前訓練のためのモジュール化された設計を備えた新しい統一パラダイムである。 モダリティ協力のための共通普遍加群を共有し、モダリティの絡み合いを扱うために異なるモダリティ加群を切り離す。 テキスト、画像、ビデオを含むすべてのモダリティの異なる理解タスクと生成タスクのために、異なるモジュールを選択することは柔軟です。
  論文  参考訳（メタデータ） (2023-02-01T12:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。