論文の概要: PlotThread: Creating Expressive Storyline Visualizations using Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2009.00249v1
• Date: Tue, 1 Sep 2020 06:01:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-23 01:35:46.272680
• Title: PlotThread: Creating Expressive Storyline Visualizations using Reinforcement Learning
• Title（参考訳）: PlotThread: 強化学習による表現力のあるストーリーラインの可視化
• Authors: Tan Tang, Renzhong Li, Xinke Wu, Shuhan Liu, Johannes Knittel, Steffen Koch, Thomas Ertl, Lingyun Yu, Peiran Ren, and Yingcai Wu
• Abstract要約: 本稿では,デザイン空間を効率的に探索し,最適なストーリーラインを生成するAIエージェントを訓練するための強化学習フレームワークを提案する。 このフレームワークをベースとしたPlotThreadは、フレキシブルなインタラクションのセットを統合し、ストーリーラインの視覚化を簡単にカスタマイズできるオーサリングツールである。
• 参考スコア（独自算出の注目度）: 27.129882090324422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Storyline visualizations are an effective means to present the evolution of plots and reveal the scenic interactions among characters. However, the design of storyline visualizations is a difficult task as users need to balance between aesthetic goals and narrative constraints. Despite that the optimization-based methods have been improved significantly in terms of producing aesthetic and legible layouts, the existing (semi-) automatic methods are still limited regarding 1) efficient exploration of the storyline design space and 2) flexible customization of storyline layouts. In this work, we propose a reinforcement learning framework to train an AI agent that assists users in exploring the design space efficiently and generating well-optimized storylines. Based on the framework, we introduce PlotThread, an authoring tool that integrates a set of flexible interactions to support easy customization of storyline visualizations. To seamlessly integrate the AI agent into the authoring process, we employ a mixed-initiative approach where both the agent and designers work on the same canvas to boost the collaborative design of storylines. We evaluate the reinforcement learning model through qualitative and quantitative experiments and demonstrate the usage of PlotThread using a collection of use cases.
• Abstract（参考訳）: ストーリーライン・ヴィジュアライゼーションはプロットの進化を示し、キャラクター間の景色の相互作用を明らかにする効果的な手段である。 しかし、美的目標と物語的制約のバランスをとる必要があるため、ストーリーラインの可視化設計は難しい課題である。 審美的かつ合理的なレイアウトを創出する上で,最適化に基づく手法が大幅に改善されているにもかかわらず,既存の(半)自動手法はいまだに限られている。 1)ストーリーラインデザイン空間の効率的な探索と課題 2)ストーリーラインレイアウトの柔軟なカスタマイズ。 本研究では,デザイン空間を効率的に探索し,最適なストーリーラインを生成するAIエージェントを訓練するための強化学習フレームワークを提案する。 このフレームワークをベースとしたPlotThreadは,フレキシブルなインタラクションセットを統合し,ストーリーラインの可視化を簡単にカスタマイズできるオーサリングツールである。 AIエージェントをオーサリングプロセスにシームレスに統合するために,エージェントとデザイナが同一のキャンバス上で作業することで,ストーリーラインの協調設計を促進する,混合開始型アプローチを採用する。 定性的かつ定量的な実験を通して強化学習モデルを評価し,PlotThread の使用例の集合を実演する。

関連論文リスト

• StoryAgent: Customized Storytelling Video Generation via Multi-Agent Collaboration [88.94832383850533]
  CSVG(Customized Storytelling Video Generation)のためのマルチエージェントフレームワークを提案する。 StoryAgentはCSVGを特殊エージェントに割り当てられた個別のサブタスクに分解し、プロの制作プロセスを反映する。 具体的には、撮影時間内整合性を高めるために、カスタマイズされたイメージ・ツー・ビデオ(I2V)手法であるLoRA-BEを導入する。 コントリビューションには、ビデオ生成タスクのための汎用フレームワークであるStoryAgentの導入や、プロタゴニストの一貫性を維持するための新しい技術が含まれている。
  論文  参考訳（メタデータ） (2024-11-07T18:00:33Z)
• DataNarrative: Automated Data-Driven Storytelling with Visualizations and Texts [27.218934418961197]
  データストーリ生成のための新しいタスクと,さまざまなソースから1,449のストーリを含むベンチマークを導入する。 2つのLLMエージェントを用いたマルチエージェントフレームワークを提案する。 我々のエージェント・フレームワークは一般的にモデルベースと人的評価の両方において非エージェント・フレームワークよりも優れていますが、結果はデータ・ストーリー・ジェネレーションにおけるユニークな課題を明らかにします。
  論文  参考訳（メタデータ） (2024-08-09T21:31:33Z)
• StoryImager: A Unified and Efficient Framework for Coherent Story Visualization and Completion [78.1014542102578]
  ストーリービジュアライゼーションは、ストーリーラインに基づいて現実的で一貫性のある画像を生成することを目的としている。 現在のモデルは、事前訓練されたテキストから画像へのモデルを自動回帰的な方法で変換することで、フレーム・バイ・フレームアーキテクチャを採用している。 双方向で統一的で効率的なフレームワーク,すなわちStoryImagerを提案する。
  論文  参考訳（メタデータ） (2024-04-09T03:22:36Z)
• TARN-VIST: Topic Aware Reinforcement Network for Visual Storytelling [14.15543866199545]
  クロスモーダルなタスクとして、視覚的なストーリーテリングは、順序付けられた画像シーケンスのためのストーリーを自動的に生成することを目的としている。 視覚的ストーリーテリングのための新しい手法,Topic Aware Reinforcement Network(TARN-VIST)を提案する。 特に,視覚的,言語的両面から,物語の話題情報を事前に抽出した。
  論文  参考訳（メタデータ） (2024-03-18T08:01:23Z)
• Make-A-Storyboard: A General Framework for Storyboard with Disentangled and Merged Control [131.1446077627191]
  本稿では,映画制作に触発されたストーリーボード(Storyboard)という,ストーリービジュアライゼーションのための新しいプレゼンテーション形式を提案する。 ストーリーボードの各シーンの中で、キャラクターは同じ場所で活動し、視覚的に一貫したシーンとキャラクターの両方を必要とする。 当社の手法は,主流のイメージカスタマイズ手法にシームレスに統合され,ストーリービジュアライゼーションの能力を活用できる。
  論文  参考訳（メタデータ） (2023-12-06T12:16:23Z)
• Text-Only Training for Visual Storytelling [107.19873669536523]
  視覚条件付きストーリー生成問題として視覚的ストーリーテリングを定式化する。 本稿では,モダリティ間のアライメントとストーリー生成の学習を分離するテキストのみのトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-17T09:32:17Z)
• StoryDALL-E: Adapting Pretrained Text-to-Image Transformers for Story Continuation [76.44802273236081]
  生成したビジュアルストーリーをソースイメージに条件付けしたストーリー継続のためのモデルであるStoryDALL-Eを開発した。 提案手法は, ストーリー継続のためのGANモデルよりも優れており, 画像からの視覚要素のコピーを容易にする。 全体として、本研究は、事前訓練されたテキスト-画像合成モデルがストーリー継続のような複雑で低リソースなタスクに適応できることを実証している。
  論文  参考訳（メタデータ） (2022-09-13T17:47:39Z)
• SGEITL: Scene Graph Enhanced Image-Text Learning for Visual Commonsense Reasoning [61.57887011165744]
  マルチモーダルトランスフォーマーはVisual Commonsense Reasoningのタスクにおいて大きな進歩を遂げた。 視覚的なシーングラフを常識的推論に組み込むためのScene Graph Enhanced Image-Text Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-16T03:16:30Z)
• Semantic Palette: Guiding Scene Generation with Class Proportions [34.746963256847145]
  本稿では,シーン生成プロセスの指針として,クラス比率を効果的に許容する,新しいアーキテクチャ設計と学習目標を備えた条件付きフレームワークを提案する。 セマンティックコントロールにより、実際の分布に近いレイアウトを生成でき、シーン生成プロセス全体の拡張に役立つ。 実際のレイアウトとイメージのペアでトレーニングされたセグメンテーションセグメントは、実際のペアでトレーニングされたモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-06-03T07:04:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。