論文の概要: ReelFramer: Human-AI Co-Creation for News-to-Video Translation
- arxiv url: http://arxiv.org/abs/2304.09653v3
- Date: Mon, 11 Mar 2024 03:06:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 17:40:00.538036
- Title: ReelFramer: Human-AI Co-Creation for News-to-Video Translation
- Title(参考訳): ReelFramer:ニューズ・トゥ・ビデオ翻訳のためのヒューマンAI共同編集
- Authors: Sitong Wang, Samia Menon, Tao Long, Keren Henderson, Dingzeyu Li,
Kevin Crowston, Mark Hansen, Jeffrey V. Nickerson, Lydia B. Chilton
- Abstract要約: ReelFramerは、ジャーナリストが印刷物をスクリプトやストーリーボードに翻訳するのを支援する人間とAIの共同制作システムである。
物語のフレーミングは、様々な記事をリールに翻訳するために必要な多様性を導入し、より関連性があり一貫性のあるスクリプトを生成するのに役立つ詳細を確立する。
- 参考スコア(独自算出の注目度): 18.981919581170175
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Short videos on social media are the dominant way young people consume
content. News outlets aim to reach audiences through news reels -- short videos
conveying news -- but struggle to translate traditional journalistic formats
into short, entertaining videos. To translate news into social media reels, we
support journalists in reframing the narrative. In literature, narrative
framing is a high-level structure that shapes the overall presentation of a
story. We identified three narrative framings for reels that adapt social media
norms but preserve news value, each with a different balance of information and
entertainment. We introduce ReelFramer, a human-AI co-creative system that
helps journalists translate print articles into scripts and storyboards.
ReelFramer supports exploring multiple narrative framings to find one
appropriate to the story. AI suggests foundational narrative details, including
characters, plot, setting, and key information. ReelFramer also supports visual
framing; AI suggests character and visual detail designs before generating a
full storyboard. Our studies show that narrative framing introduces the
necessary diversity to translate various articles into reels, and establishing
foundational details helps generate scripts that are more relevant and
coherent. We also discuss the benefits of using narrative framing and
foundational details in content retargeting.
- Abstract(参考訳): ソーシャルメディア上の短いビデオは、若者がコンテンツを消費する主要な方法だ。
ニュースメディアはニュースリール(ニュースを流すショートビデオ)を通じて視聴者にリーチすることを目指しているが、伝統的なジャーナリストの形式を短くて楽しいビデオに変換するのに苦労している。
ニュースをソーシャルメディアのリールに翻訳するためには、ジャーナリストが物語を熟考するのをサポートする。
文学において、ナラティブフレーミングはストーリーの全体像を形成するハイレベルな構造である。
ソーシャルメディアの規範に適合するがニュース価値を保ち、それぞれ異なる情報とエンタテイメントのバランスを持つリールのための3つのナラティブ・フレーミングを同定した。
ReelFramerは、ジャーナリストが印刷物をスクリプトやストーリーボードに翻訳するのを支援する人間とAIの共同制作システムである。
ReelFramerは、ストーリーに適したものを見つけるために、複数のストーリーフレームの探索をサポートする。
AIは、キャラクター、プロット、セッティング、キー情報を含む基本的な物語の詳細を提案する。
ReelFramerはビジュアルフレーミングもサポートする。AIは完全なストーリーボードを生成する前に、キャラクタとビジュアルディテールの設計を提案する。
本研究は, 物語のフレーミングが, 様々な記事をリールに翻訳するために必要な多様性を導入し, 基礎的詳細を確立することによって, より関連性があり, 一貫性のあるスクリプトを生成することを示す。
また,コンテンツ再ターゲティングにおけるナラティブフレーミングと基礎的詳細の利用の利点についても論じる。
関連論文リスト
- Multi-modal News Understanding with Professionally Labelled Videos
(ReutersViLNews) [25.78619140103048]
我々はReuters ViLNewsデータセットと呼ばれるReuters News Agencyが収集した社内データセットを大規模に分析した。
このデータセットは、長文ニュースに重点を置いて、ハイレベルなビデオ言語理解に焦点を当てている。
その結果,ニュース指向ビデオは現在のビデオ言語理解アルゴリズムにとって大きな課題であることが示唆された。
論文 参考訳(メタデータ) (2024-01-23T00:42:04Z) - Shot2Story20K: A New Benchmark for Comprehensive Understanding of
Multi-shot Videos [58.13927287437394]
マルチショットビデオ理解ベンチマークShot2Story20Kに、詳細なショットレベルのキャプションと包括的ビデオ要約を付加する。
予備実験は、長大かつ包括的なビデオ要約を生成するためのいくつかの課題を示している。
論文 参考訳(メタデータ) (2023-12-16T03:17:30Z) - SCStory: Self-supervised and Continual Online Story Discovery [53.72745249384159]
SCStoryは、素早く公開されたニュース記事ストリームを人間のアノテーションなしでリアルタイムで消化するのに役立つ。
SCStoryは、ニュース記事ストリームのストーリー指向適応モデリングという新しいアイデアを取り入れて、自己指導的かつ継続的な学習を取り入れている。
論文 参考訳(メタデータ) (2023-11-27T04:50:01Z) - StoryBench: A Multifaceted Benchmark for Continuous Story Visualization [42.439670922813434]
StoryBench: テキストとビデオのモデルを確実に評価する、新しい、挑戦的なマルチタスクベンチマーク。
我々のベンチマークには、アクション実行、ストーリー継続、ストーリー生成という難易度を高める3つのビデオ生成タスクが含まれている。
従来の動画キャプションから生成したストーリーライクなデータに基づくトレーニングの利点を,小型ながら強力なテキスト・ビデオベースラインで評価した。
論文 参考訳(メタデータ) (2023-08-22T17:53:55Z) - VideoXum: Cross-modal Visual and Textural Summarization of Videos [67.03643944475712]
我々は新しい共同ビデオとテキスト要約タスクを提案する。
目標は、短縮されたビデオクリップと、長いビデオから対応するテキスト要約の両方を生成することだ。
生成された短縮ビデオクリップとテキストナラティブは、セマンティックに適切に調整されるべきである。
論文 参考訳(メタデータ) (2023-03-21T17:51:23Z) - Connecting Vision and Language with Video Localized Narratives [54.094554472715245]
視覚と言語を繋ぐマルチモーダルなビデオアノテーションの新たな形式であるビデオローカライズド・ナラティブスを提案する。
オリジナルのLocalized Narrativesでは、アノテータは画像上にマウスを同時に移動させ、各単語をマウストレースセグメントで接地する。
我々の新しいプロトコルは、アノテータがローカライズド・ナラティブ(Localized Narratives)を使ってビデオのストーリーを語ることを可能にし、複数のアクターが相互に相互作用し、複数の受動的オブジェクトを持つ複雑なイベントをキャプチャする。
論文 参考訳(メタデータ) (2023-02-22T09:04:00Z) - Detecting Narrative Elements in Informational Text [0.0]
NEAT(Narrative Elements AnnoTation)は,原文中の物語要素を検出する新しいNLPタスクである。
各種分野の46のニュース記事から収集した2,209文の新しいデータセットを注釈付けするために,本手法を用いる。
我々は、注釈付きデータセット上で複数の異なる設定で教師付きモデルを訓練し、異なる物語要素を識別し、平均F1スコアを最大0.77まで達成した。
論文 参考訳(メタデータ) (2022-10-06T16:23:33Z) - Narration Generation for Cartoon Videos [35.814965300322015]
そこで本研究では,複数箇所で挿入されるナレーションテキストを補完する新しいタスクナレーション生成手法を提案する。
アニメテレビシリーズPeppa Pigから新しいデータセットを収集します。
論文 参考訳(メタデータ) (2021-01-17T23:23:09Z) - QuerYD: A video dataset with high-quality text and audio narrations [85.6468286746623]
ビデオの検索とイベントのローカライゼーションのための大規模データセットQuerYDを紹介する。
データセットのユニークな特徴は、ビデオ毎に2つのオーディオトラック(オリジナルオーディオと高品質な音声記述)が利用可能であることです。
YouDescribeは、既存のYouTubeビデオに音声ナレーションを付加することで視覚障害者を支援するボランティアプロジェクトだ。
論文 参考訳(メタデータ) (2020-11-22T17:33:44Z) - CompRes: A Dataset for Narrative Structure in News [2.4578723416255754]
ニュースメディアにおける物語構造のための最初のデータセットであるCompResを紹介する。
アノテーション付きデータセットを使用して、複数の教師付きモデルをトレーニングし、異なる物語要素を識別します。
論文 参考訳(メタデータ) (2020-07-09T15:21:59Z) - Text Synopsis Generation for Egocentric Videos [72.52130695707008]
我々は、長い自我中心の動画の中で最も重要な出来事を記述したいくつかの文からなるテキスト合成を生成することを提案する。
ユーザーは短いテキストを読んでビデオについての洞察を得ることができ、さらに重要なのは、大きなビデオデータベースのコンテンツを効率的に検索できることだ。
論文 参考訳(メタデータ) (2020-05-08T00:28:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。