論文の概要: Make-A-Storyboard: A General Framework for Storyboard with Disentangled and Merged Control

• arxiv url: http://arxiv.org/abs/2312.07549v1
• Date: Wed, 6 Dec 2023 12:16:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 14:34:42.192089
• Title: Make-A-Storyboard: A General Framework for Storyboard with Disentangled and Merged Control
• Title（参考訳）: Make-A-Storyboard: アンタングルとマージによるストーリーボードの汎用フレームワーク
• Authors: Sitong Su, Litao Guo, Lianli Gao, Heng Tao Shen, Jingkuan Song
• Abstract要約: 本稿では,映画制作に触発されたストーリーボード(Storyboard)という,ストーリービジュアライゼーションのための新しいプレゼンテーション形式を提案する。 ストーリーボードの各シーンの中で、キャラクターは同じ場所で活動し、視覚的に一貫したシーンとキャラクターの両方を必要とする。 当社の手法は,主流のイメージカスタマイズ手法にシームレスに統合され,ストーリービジュアライゼーションの能力を活用できる。
• 参考スコア（独自算出の注目度）: 131.1446077627191
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Story Visualization aims to generate images aligned with story prompts, reflecting the coherence of storybooks through visual consistency among characters and scenes.Whereas current approaches exclusively concentrate on characters and neglect the visual consistency among contextually correlated scenes, resulting in independent character images without inter-image coherence.To tackle this issue, we propose a new presentation form for Story Visualization called Storyboard, inspired by film-making, as illustrated in Fig.1.Specifically, a Storyboard unfolds a story into visual representations scene by scene. Within each scene in Storyboard, characters engage in activities at the same location, necessitating both visually consistent scenes and characters.For Storyboard, we design a general framework coined as Make-A-Storyboard that applies disentangled control over the consistency of contextual correlated characters and scenes and then merge them to form harmonized images.Extensive experiments demonstrate 1) Effectiveness.the effectiveness of the method in story alignment, character consistency, and scene correlation; 2) Generalization. Our method could be seamlessly integrated into mainstream Image Customization methods, empowering them with the capability of story visualization.
• Abstract（参考訳）: Story Visualization aims to generate images aligned with story prompts, reflecting the coherence of storybooks through visual consistency among characters and scenes.Whereas current approaches exclusively concentrate on characters and neglect the visual consistency among contextually correlated scenes, resulting in independent character images without inter-image coherence.To tackle this issue, we propose a new presentation form for Story Visualization called Storyboard, inspired by film-making, as illustrated in Fig.1.Specifically, a Storyboard unfolds a story into visual representations scene by scene. ストーリーボードの各シーンにおいて、キャラクターは同じ場所で活動し、視覚的に一貫したシーンとキャラクタの両方を必要とする。ストーリーボードでは、コンテキストの関連したキャラクタとシーンの整合性に対する不整合制御を施したMake-A-Storyboardと呼ばれる一般的なフレームワークを設計し、それらをマージして調和したイメージを形成する。 1) 効果. ストーリーアライメント, キャラクタ一貫性, シーン相関における方法の有効性 2)一般化。 当社の手法は,主流のイメージカスタマイズ手法にシームレスに統合され,ストーリービジュアライゼーションの能力を活用できる。

関連論文リスト

• ContextualStory: Consistent Visual Storytelling with Spatially-Enhanced and Storyline Context [50.572907418430155]
  既存の自動回帰手法は、メモリ使用量の増加、生成速度の低下、コンテキスト統合の制限に悩まされている。 本研究では,コヒーレントなストーリーフレームの生成とストーリー継続のためのフレーム拡張を目的とした新しいフレームワークであるContextualStoryを提案する。 PororoSVとFlintstonesSVベンチマークの実験では、ContextualStoryはストーリービジュアライゼーションとストーリー継続の両方において既存のメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-07-13T05:02:42Z)
• StoryImager: A Unified and Efficient Framework for Coherent Story Visualization and Completion [78.1014542102578]
  ストーリービジュアライゼーションは、ストーリーラインに基づいて現実的で一貫性のある画像を生成することを目的としている。 現在のモデルは、事前訓練されたテキストから画像へのモデルを自動回帰的な方法で変換することで、フレーム・バイ・フレームアーキテクチャを採用している。 双方向で統一的で効率的なフレームワーク,すなわちStoryImagerを提案する。
  論文  参考訳（メタデータ） (2024-04-09T03:22:36Z)
• TARN-VIST: Topic Aware Reinforcement Network for Visual Storytelling [14.15543866199545]
  クロスモーダルなタスクとして、視覚的なストーリーテリングは、順序付けられた画像シーケンスのためのストーリーを自動的に生成することを目的としている。 視覚的ストーリーテリングのための新しい手法,Topic Aware Reinforcement Network(TARN-VIST)を提案する。 特に,視覚的,言語的両面から,物語の話題情報を事前に抽出した。
  論文  参考訳（メタデータ） (2024-03-18T08:01:23Z)
• SCO-VIST: Social Interaction Commonsense Knowledge-based Visual Storytelling [12.560014305032437]
  本稿では、画像シーケンスをオブジェクトと関係を持つグラフとして表現するフレームワークであるSCO-VISTを紹介する。 SCO-VIST はこのグラフをプロットポイントを表し、意味的および発生に基づくエッジウェイトを持つプロットポイント間のブリッジを生成する。 この重み付きストーリーグラフは、Floyd-Warshallのアルゴリズムを用いて一連のイベントでストーリーラインを生成する。
  論文  参考訳（メタデータ） (2024-02-01T04:09:17Z)
• Text-Only Training for Visual Storytelling [107.19873669536523]
  視覚条件付きストーリー生成問題として視覚的ストーリーテリングを定式化する。 本稿では,モダリティ間のアライメントとストーリー生成の学習を分離するテキストのみのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-17T09:32:17Z)
• Visual Writing Prompts: Character-Grounded Story Generation with Curated Image Sequences [67.61940880927708]
  画像ベースのストーリー生成に関する現在の研究は、既存の画像シーケンスコレクションが背後にコヒーレントなプロットを持たないという事実に悩まされている。 我々は、新しい画像グラウンドデータセット、Visual Writing Prompts (VWP) を作成することで、ビジュアルストーリー生成を改善する。 VWPには5～10枚の画像を含む約2Kの映像が選択されている。 画像シーケンスは、画像シーケンスと対応する画像シーケンスから接地文字のセットを与えられたクラウドソーシングを介して収集された合計12Kストーリーと整列する。
  論文  参考訳（メタデータ） (2023-01-20T13:38:24Z)
• Make-A-Story: Visual Memory Conditioned Consistent Story Generation [57.691064030235985]
  本稿では,アクタと背景コンテキストを暗黙的にキャプチャするビジュアルメモリモジュールを備えた,自己回帰拡散に基づく新しいフレームワークを提案する。 本手法は,視覚的品質の高いフレーム生成において,先行技術よりも優れていた。 MUGEN, PororoSV, FlintstonesSVデータセット上でのストーリー生成実験により, この手法は, 視覚的品質の高いフレーム生成において, 先行技術よりも優れるだけでなく, キャラクタと背景との適切な対応をモデル化した。
  論文  参考訳（メタデータ） (2022-11-23T21:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。