論文の概要: A Customizable Generator for Comic-Style Visual Narrative
- arxiv url: http://arxiv.org/abs/2401.02863v1
- Date: Thu, 14 Dec 2023 03:46:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 09:44:21.707160
- Title: A Customizable Generator for Comic-Style Visual Narrative
- Title(参考訳): コミックスタイルのビジュアルナラティブのためのカスタマイズ可能なジェネレータ
- Authors: Yi-Chun Chen, Arnav Jhala
- Abstract要約: 本稿では,漫画作者のイディオムを取り入れた理論にインスパイアされたビジュアル・ナラティブ・ジェネレータを提案する。
ジェネレータは、パネル構成、オブジェクト位置、パネル遷移、物語要素から階層間のシーケンシャルな意思決定を通じてコミックを生成する。
- 参考スコア(独自算出の注目度): 1.320904960556043
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a theory-inspired visual narrative generator that incorporates
comic-authoring idioms, which transfers the conceptual principles of comics
into system layers that integrate the theories to create comic content. The
generator creates comics through sequential decision-making across layers from
panel composition, object positions, panel transitions, and narrative elements.
Each layer's decisions are based on narrative goals and follow the respective
layer idioms of the medium. Cohn's narrative grammar provides the overall story
arc. Photographic compositions inspired by the rule of thirds is used to
provide panel compositions. McCloud's proposed panel transitions based on focus
shifts between scene, character, and temporal changes are encoded in the
transition layer. Finally, common overlay symbols (such as the exclamation) are
added based on analyzing action verbs using an action-verb ontology. We
demonstrate the variety of generated comics through various settings with
example outputs. The generator and associated modules could be a useful system
for visual narrative authoring and for further research into computational
models of visual narrative understanding.
- Abstract(参考訳): 本稿では,漫画の原理を,理論を融合して漫画コンテンツを作成するシステム層に伝達する,漫画作者のイディオムを取り入れた理論に着想を得たビジュアル・ナラティブ・ジェネレータを提案する。
ジェネレータは、パネル構成、オブジェクト位置、パネル遷移、物語要素から階層間のシーケンシャルな意思決定を通じてコミックを生成する。
それぞれの層の決定は物語の目標に基づいており、媒体の各層イディオムに従う。
コーンの物語文法は物語全体の弧を与える。
3番目の規則に触発された写真組成物は、パネル組成物を提供するために使用される。
McCloudの提案するパネル遷移は、シーン、キャラクタ、時間的変化のフォーカスシフトに基づいて、トランジション層にエンコードされる。
最後に、アクションバーブオントロジーを用いたアクション動詞の分析に基づいて、共通のオーバーレイシンボル(例えば、宣言)を追加する。
様々な設定で生成された漫画の多様性を実例で示す。
ジェネレータと関連するモジュールは、ビジュアルナラティブのオーサリングや、ビジュアルナラティブ理解の計算モデルの研究に有用なシステムとなるかもしれない。
関連論文リスト
- SCO-VIST: Social Interaction Commonsense Knowledge-based Visual
Storytelling [12.560014305032437]
本稿では、画像シーケンスをオブジェクトと関係を持つグラフとして表現するフレームワークであるSCO-VISTを紹介する。
SCO-VIST はこのグラフをプロットポイントを表し、意味的および発生に基づくエッジウェイトを持つプロットポイント間のブリッジを生成する。
この重み付きストーリーグラフは、Floyd-Warshallのアルゴリズムを用いて一連のイベントでストーリーラインを生成する。
論文 参考訳(メタデータ) (2024-02-01T04:09:17Z) - MagicScroll: Nontypical Aspect-Ratio Image Generation for Visual
Storytelling via Multi-Layered Semantic-Aware Denoising [42.20750912837316]
MagicScrollはプログレッシブ拡散に基づく画像生成フレームワークであり、新しいセマンティック・アウェア・デノナイジング・プロセスを備えている。
オブジェクト、シーン、背景のレベルで生成された画像を、テキスト、画像、レイアウト条件できめ細かく制御できる。
物語のテキストの整合性、視覚的コヒーレンスの改善、オーディエンスへのエンゲージメントなど、有望な成果が紹介されている。
論文 参考訳(メタデータ) (2023-12-18T03:09:05Z) - CPST: Comprehension-Preserving Style Transfer for Multi-Modal Narratives [1.320904960556043]
漫画や漫画などの静的な視覚的物語の中で、提示の面では異なる視覚的スタイルが存在する。
テキスト要素とメディア要素の両方のレイアウトは、物語コミュニケーションにおいても重要である。
このようなマルチモーダルドメインにおける理解保存スタイル転送(CPST)の概念を導入する。
論文 参考訳(メタデータ) (2023-12-14T07:26:18Z) - Make-A-Storyboard: A General Framework for Storyboard with Disentangled
and Merged Control [131.1446077627191]
本稿では,映画制作に触発されたストーリーボード(Storyboard)という,ストーリービジュアライゼーションのための新しいプレゼンテーション形式を提案する。
ストーリーボードの各シーンの中で、キャラクターは同じ場所で活動し、視覚的に一貫したシーンとキャラクターの両方を必要とする。
当社の手法は,主流のイメージカスタマイズ手法にシームレスに統合され,ストーリービジュアライゼーションの能力を活用できる。
論文 参考訳(メタデータ) (2023-12-06T12:16:23Z) - TextPSG: Panoptic Scene Graph Generation from Textual Descriptions [78.1140391134517]
我々は、純文記述(Caption-to-PSG)によるパノプティカルシーングラフ生成の新たな課題について検討する。
鍵となるアイデアは、Web上の大量の無料画像キャプチャーデータを活用して、パノラマシーングラフを生成することである。
本研究では,4つのモジュール,すなわちリージョングルーパー,エンティティグルーパー,セグメントマージ,ラベルジェネレータからなる新しいフレームワークであるTextPSGを提案する。
論文 参考訳(メタデータ) (2023-10-10T22:36:15Z) - Visual Storytelling with Question-Answer Plans [70.89011289754863]
本稿では、事前訓練された言語モデルと計画に視覚表現を統合する新しいフレームワークを提案する。
我々のモデルは、画像列を視覚的な接頭辞、つまり言語モデルで解釈できる連続的な埋め込みの列に変換する。
また、一連の質問と回答のペアを青写真プランとして利用して、健全な視覚概念を選択し、物語にどのように組み立てるべきかを決定する。
論文 参考訳(メタデータ) (2023-10-08T21:45:34Z) - Visual Story Generation Based on Emotion and Keywords [5.3860505447668015]
この研究は、ユーザとビジュアルストーリーを共同作成するためのストーリー生成パイプラインを提案する。
パイプラインには、物語と画像生成の2つの部分が含まれている。
論文 参考訳(メタデータ) (2023-01-07T03:56:49Z) - ViNTER: Image Narrative Generation with Emotion-Arc-Aware Transformer [59.05857591535986]
様々な感情を「感情弧」として表現する時系列に焦点をあてた画像物語を生成するモデルViNTERを提案する。
手動評価と自動評価の両方の実験結果を示す。
論文 参考訳(メタデータ) (2022-02-15T10:53:08Z) - Integrating Visuospatial, Linguistic and Commonsense Structure into
Story Visualization [81.26077816854449]
まず、構造的入力を符号化するための選挙区解析木の利用について検討する。
第二に、構造化されたインプットをコモンセンス情報で強化し、この外部知識が視覚的ストーリーの生成に与える影響について検討する。
第3に、境界ボックスと高密度キャプションによって視覚構造を組み込んで、生成された画像の文字やオブジェクトに関するフィードバックを提供する。
論文 参考訳(メタデータ) (2021-10-21T00:16:02Z) - ComicGAN: Text-to-Comic Generative Adversarial Network [1.4824891788575418]
テキスト記述に基づいて漫画を合成する新しいテキスト・ツー・イメージGANであるComicGANを実装した。
我々は,提案するComicGANについて,記述からの画像生成と対話からの画像生成という2つのシナリオで広く評価する。
論文 参考訳(メタデータ) (2021-09-19T13:31:32Z) - Automatic Comic Generation with Stylistic Multi-page Layouts and
Emotion-driven Text Balloon Generation [57.10363557465713]
本稿では,人間の介入なしにビデオから漫画を自動生成するシステムを提案する。
サブタイトルとともに入力ビデオが与えられると,まずサブタイトルを解析して情報抽出を行う。
そこで,複数のページにまたがる画像の割り当てが可能な,新しい自動マルチページフレームワークレイアウトを提案する。
論文 参考訳(メタデータ) (2021-01-26T22:15:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。