論文の概要: SEED-Story: Multimodal Long Story Generation with Large Language Model

• arxiv url: http://arxiv.org/abs/2407.08683v1
• Date: Thu, 11 Jul 2024 17:21:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 16:30:47.685042
• Title: SEED-Story: Multimodal Long Story Generation with Large Language Model
• Title（参考訳）: SEED-Story:大規模言語モデルを用いたマルチモーダル・ロングストーリー・ジェネレーション
• Authors: Shuai Yang, Yuying Ge, Yang Li, Yukang Chen, Yixiao Ge, Ying Shan, Yingcong Chen,
• Abstract要約: SEED-Storyは、MLLM(Multimodal Large Language Model)を利用して拡張マルチモーダルストーリーを生成する新しい手法である。 マルチモーダルアテンションシンク機構を提案し,最大25個のストーリー(トレーニング用10個)を高い効率で自動回帰的に生成する。 本稿では,大規模かつ高解像度なStoryStreamというデータセットを提案する。
• 参考スコア（独自算出の注目度）: 66.37077224696242
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the remarkable advancements in image generation and open-form text generation, the creation of interleaved image-text content has become an increasingly intriguing field. Multimodal story generation, characterized by producing narrative texts and vivid images in an interleaved manner, has emerged as a valuable and practical task with broad applications. However, this task poses significant challenges, as it necessitates the comprehension of the complex interplay between texts and images, and the ability to generate long sequences of coherent, contextually relevant texts and visuals. In this work, we propose SEED-Story, a novel method that leverages a Multimodal Large Language Model (MLLM) to generate extended multimodal stories. Our model, built upon the powerful comprehension capability of MLLM, predicts text tokens as well as visual tokens, which are subsequently processed with an adapted visual de-tokenizer to produce images with consistent characters and styles. We further propose multimodal attention sink mechanism to enable the generation of stories with up to 25 sequences (only 10 for training) in a highly efficient autoregressive manner. Additionally, we present a large-scale and high-resolution dataset named StoryStream for training our model and quantitatively evaluating the task of multimodal story generation in various aspects.
• Abstract（参考訳）: 画像生成とオープンフォームテキスト生成の顕著な進歩により、インターリーブされた画像テキストコンテンツの作成は、ますます興味深い分野になりつつある。 物語テキストと鮮やかなイメージをインターリーブで生成する多モーダルなストーリー生成は、幅広い応用において価値ある実践的課題として現れてきた。 しかし、このタスクは、テキストと画像の間の複雑な相互作用の理解と、一貫性のあるコンテキストに関連のあるテキストと視覚の長いシーケンスを生成する能力を必要とするため、重大な課題を生じさせる。 本稿では,MLLM(Multimodal Large Language Model)を利用した拡張多モーダルストーリ生成手法であるSEED-Storyを提案する。 我々のモデルはMLLMの強力な理解能力に基づいて、テキストトークンと視覚トークンを予測し、それを適応された視覚的デトケナイザで処理し、一貫した文字やスタイルで画像を生成する。 さらに,最大25個のストーリー(トレーニング用10個)を高効率で自動回帰的に生成できるマルチモーダルアテンションシンク機構を提案する。 さらに,大規模かつ高解像度なStoryStreamというデータセットを提示し,モデルをトレーニングし,様々な側面においてマルチモーダルなストーリー生成のタスクを定量的に評価する。

関連論文リスト

• mPLUG-Owl3: Towards Long Image-Sequence Understanding in Multi-Modal Large Language Models [71.40705814904898]
  本稿では,多目的なマルチモーダル大言語モデルであるmPLUG-Owl3を提案する。 具体的には、視覚と言語を共通の言語誘導意味空間に効率的に統合する新しいハイパーアテンションブロックを提案する。
  論文  参考訳（メタデータ） (2024-08-09T03:25:42Z)
• TRINS: Towards Multimodal Language Models that Can Read [61.17806538631744]
  TRINSはText-RichイメージINStructionデータセットである。 39,153の画像、キャプション、102,437の質問が含まれている。 本稿では,画像中のテキスト内容の理解に長けたLanguage-vision Reading Assistant(LaRA)を提案する。
  論文  参考訳（メタデータ） (2024-06-10T18:52:37Z)
• Towards Multi-Task Multi-Modal Models: A Video Generative Perspective [5.495245220300184]
  この論文は、さまざまな条件下でビデオやその他のモダリティを生成するマルチタスクモデルを構築するために、我々の努力を年代記している。 我々は、視覚的観察と解釈可能な語彙の双方向マッピングのための新しいアプローチを公表する。 私たちのスケーラブルなビジュアルトークン表現は、生成、圧縮、理解タスクで有益であることが証明されます。
  論文  参考訳（メタデータ） (2024-05-26T23:56:45Z)
• From Text to Pixel: Advancing Long-Context Understanding in MLLMs [70.78454154014989]
  本稿では,この問題に対処するために設計された多モーダル大規模言語モデルであるSEEKERを紹介する。 SEEKERは、画像を介してテキストシーケンスを視覚ピクセル空間に圧縮することで、長文のコンパクトエンコーディングを最適化することを目的としている。 6つの長文マルチモーダルタスクに関する実験により、SEEKERは、OCRベースの手法と比較して、同じ量のテキスト情報を伝達するために、少ない画像トークンを利用できることを示した。
  論文  参考訳（メタデータ） (2024-05-23T06:17:23Z)
• UNIMO-G: Unified Image Generation through Multimodal Conditional Diffusion [36.06457895469353]
  UNIMO-Gは条件付き拡散フレームワークであり、インターリーブされたテキストと視覚入力を持つマルチモーダルプロンプトで動作する。 テキスト・ツー・イメージ生成とゼロショット・テーマ駆動合成の両面で優れている。
  論文  参考訳（メタデータ） (2024-01-24T11:36:44Z)
• TextBind: Multi-turn Interleaved Multimodal Instruction-following in the Wild [102.93338424976959]
  マルチターンインターリーブ型インストラクションフォロー機能を備えた,より大規模な言語モデルを実現するための,ほとんどアノテーションのないフレームワークであるTextBindを紹介する。 提案手法では,画像キャプチャペアのみが必要であり,言語モデルからマルチターンマルチモーダル・インストラクション・レスポンス・会話を生成する。 そこで我々は,画像エンコーダとデコーダモデルをシームレスに統合する言語モデル中心アーキテクチャであるMIMを考案した。
  論文  参考訳（メタデータ） (2023-09-14T15:34:01Z)
• Generating Images with Multimodal Language Models [78.6660334861137]
  本稿では,凍結したテキストのみの大規模言語モデルを,事前学習した画像エンコーダとデコーダモデルで融合する手法を提案する。 本モデルでは,画像検索,新しい画像生成,マルチモーダル対話など,多モーダルな機能群を示す。
  論文  参考訳（メタデータ） (2023-05-26T19:22:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。