論文の概要: ReelFramer: Human-AI Co-Creation for News-to-Video Translation
- arxiv url: http://arxiv.org/abs/2304.09653v3
- Date: Mon, 11 Mar 2024 03:06:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 17:40:00.538036
- Title: ReelFramer: Human-AI Co-Creation for News-to-Video Translation
- Title（参考訳）: ReelFramer:ニューズ・トゥ・ビデオ翻訳のためのヒューマンAI共同編集
- Authors: Sitong Wang, Samia Menon, Tao Long, Keren Henderson, Dingzeyu Li,
Kevin Crowston, Mark Hansen, Jeffrey V. Nickerson, Lydia B. Chilton
- Abstract要約: ReelFramerは、ジャーナリストが印刷物をスクリプトやストーリーボードに翻訳するのを支援する人間とAIの共同制作システムである。
物語のフレーミングは、様々な記事をリールに翻訳するために必要な多様性を導入し、より関連性があり一貫性のあるスクリプトを生成するのに役立つ詳細を確立する。
- 参考スコア（独自算出の注目度）: 18.981919581170175
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Short videos on social media are the dominant way young people consume
content. News outlets aim to reach audiences through news reels -- short videos
conveying news -- but struggle to translate traditional journalistic formats
into short, entertaining videos. To translate news into social media reels, we
support journalists in reframing the narrative. In literature, narrative
framing is a high-level structure that shapes the overall presentation of a
story. We identified three narrative framings for reels that adapt social media
norms but preserve news value, each with a different balance of information and
entertainment. We introduce ReelFramer, a human-AI co-creative system that
helps journalists translate print articles into scripts and storyboards.
ReelFramer supports exploring multiple narrative framings to find one
appropriate to the story. AI suggests foundational narrative details, including
characters, plot, setting, and key information. ReelFramer also supports visual
framing; AI suggests character and visual detail designs before generating a
full storyboard. Our studies show that narrative framing introduces the
necessary diversity to translate various articles into reels, and establishing
foundational details helps generate scripts that are more relevant and
coherent. We also discuss the benefits of using narrative framing and
foundational details in content retargeting.
- Abstract（参考訳）: ソーシャルメディア上の短いビデオは、若者がコンテンツを消費する主要な方法だ。
ニュースメディアはニュースリール(ニュースを流すショートビデオ)を通じて視聴者にリーチすることを目指しているが、伝統的なジャーナリストの形式を短くて楽しいビデオに変換するのに苦労している。
ニュースをソーシャルメディアのリールに翻訳するためには、ジャーナリストが物語を熟考するのをサポートする。
文学において、ナラティブフレーミングはストーリーの全体像を形成するハイレベルな構造である。
ソーシャルメディアの規範に適合するがニュース価値を保ち、それぞれ異なる情報とエンタテイメントのバランスを持つリールのための3つのナラティブ・フレーミングを同定した。
ReelFramerは、ジャーナリストが印刷物をスクリプトやストーリーボードに翻訳するのを支援する人間とAIの共同制作システムである。
ReelFramerは、ストーリーに適したものを見つけるために、複数のストーリーフレームの探索をサポートする。
AIは、キャラクター、プロット、セッティング、キー情報を含む基本的な物語の詳細を提案する。
ReelFramerはビジュアルフレーミングもサポートする。AIは完全なストーリーボードを生成する前に、キャラクタとビジュアルディテールの設計を提案する。
本研究は, 物語のフレーミングが, 様々な記事をリールに翻訳するために必要な多様性を導入し, 基礎的詳細を確立することによって, より関連性があり, 一貫性のあるスクリプトを生成することを示す。
また,コンテンツ再ターゲティングにおけるナラティブフレーミングと基礎的詳細の利用の利点についても論じる。
関連論文リスト
- StoryAgent: Customized Storytelling Video Generation via Multi-Agent Collaboration [88.94832383850533]
CSVG(Customized Storytelling Video Generation)のためのマルチエージェントフレームワークを提案する。
StoryAgentはCSVGを特殊エージェントに割り当てられた個別のサブタスクに分解し、プロの制作プロセスを反映する。
具体的には、撮影時間内整合性を高めるために、カスタマイズされたイメージ・ツー・ビデオ(I2V)手法であるLoRA-BEを導入する。
コントリビューションには、ビデオ生成タスクのための汎用フレームワークであるStoryAgentの導入や、プロタゴニストの一貫性を維持するための新しい技術が含まれている。
論文 参考訳（メタデータ） (2024-11-07T18:00:33Z) - Agents' Room: Narrative Generation through Multi-step Collaboration [54.98886593802834]
本稿では,物語の執筆を特殊エージェントが取り組んだサブタスクに分解する,物語理論に触発された世代フレームワークを提案する。
エージェントの部屋は,専門的評価者が好むストーリーをベースラインシステムより生成することを示す。
論文 参考訳（メタデータ） (2024-10-03T15:44:42Z) - The Lost Melody: Empirical Observations on Text-to-Video Generation From A Storytelling Perspective [4.471962177124311]
ストーリーテリングの観点からテキスト・ビデオ生成について検討するが,研究はほとんど行われていない。
本稿では,映像のストーリーテリングに関する評価フレームワークを提案し,今後の方向性について論じる。
論文 参考訳（メタデータ） (2024-05-13T02:25:08Z) - Movie101v2: Improved Movie Narration Benchmark [53.54176725112229]
映像の自動ナレーションは、視覚障害者を支援するために、映像に合わせたプロット記述を生成することを目的としている。
映画ナレーションに特化して設計されたデータ品質を向上した大規模バイリンガルデータセットであるMovie101v2を紹介する。
新しいベンチマークに基づいて,GPT-4Vを含む多数の視覚言語モデルをベースライン化し,ナレーション生成における課題の詳細な分析を行う。
論文 参考訳（メタデータ） (2024-04-20T13:15:27Z) - Multi-modal News Understanding with Professionally Labelled Videos
(ReutersViLNews) [25.78619140103048]
我々はReuters ViLNewsデータセットと呼ばれるReuters News Agencyが収集した社内データセットを大規模に分析した。
このデータセットは、長文ニュースに重点を置いて、ハイレベルなビデオ言語理解に焦点を当てている。
その結果,ニュース指向ビデオは現在のビデオ言語理解アルゴリズムにとって大きな課題であることが示唆された。
論文 参考訳（メタデータ） (2024-01-23T00:42:04Z) - Shot2Story20K: A New Benchmark for Comprehensive Understanding of
Multi-shot Videos [58.13927287437394]
マルチショットビデオ理解ベンチマークShot2Story20Kに、詳細なショットレベルのキャプションと包括的ビデオ要約を付加する。
予備実験は、長大かつ包括的なビデオ要約を生成するためのいくつかの課題を示している。
論文 参考訳（メタデータ） (2023-12-16T03:17:30Z) - StoryBench: A Multifaceted Benchmark for Continuous Story Visualization [42.439670922813434]
StoryBench: テキストとビデオのモデルを確実に評価する、新しい、挑戦的なマルチタスクベンチマーク。
我々のベンチマークには、アクション実行、ストーリー継続、ストーリー生成という難易度を高める3つのビデオ生成タスクが含まれている。
従来の動画キャプションから生成したストーリーライクなデータに基づくトレーニングの利点を,小型ながら強力なテキスト・ビデオベースラインで評価した。
論文 参考訳（メタデータ） (2023-08-22T17:53:55Z) - Connecting Vision and Language with Video Localized Narratives [54.094554472715245]
視覚と言語を繋ぐマルチモーダルなビデオアノテーションの新たな形式であるビデオローカライズド・ナラティブスを提案する。
オリジナルのLocalized Narrativesでは、アノテータは画像上にマウスを同時に移動させ、各単語をマウストレースセグメントで接地する。
我々の新しいプロトコルは、アノテータがローカライズド・ナラティブ(Localized Narratives)を使ってビデオのストーリーを語ることを可能にし、複数のアクターが相互に相互作用し、複数の受動的オブジェクトを持つ複雑なイベントをキャプチャする。
論文 参考訳（メタデータ） (2023-02-22T09:04:00Z) - Narration Generation for Cartoon Videos [35.814965300322015]
そこで本研究では,複数箇所で挿入されるナレーションテキストを補完する新しいタスクナレーション生成手法を提案する。
アニメテレビシリーズPeppa Pigから新しいデータセットを収集します。
論文 参考訳（メタデータ） (2021-01-17T23:23:09Z) - CompRes: A Dataset for Narrative Structure in News [2.4578723416255754]
ニュースメディアにおける物語構造のための最初のデータセットであるCompResを紹介する。
アノテーション付きデータセットを使用して、複数の教師付きモデルをトレーニングし、異なる物語要素を識別します。
論文 参考訳（メタデータ） (2020-07-09T15:21:59Z) - Text Synopsis Generation for Egocentric Videos [72.52130695707008]
我々は、長い自我中心の動画の中で最も重要な出来事を記述したいくつかの文からなるテキスト合成を生成することを提案する。
ユーザーは短いテキストを読んでビデオについての洞察を得ることができ、さらに重要なのは、大きなビデオデータベースのコンテンツを効率的に検索できることだ。
論文 参考訳（メタデータ） (2020-05-08T00:28:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。