論文の概要: ReelFramer: Human-AI Co-Creation for News-to-Video Translation
- arxiv url: http://arxiv.org/abs/2304.09653v2
- Date: Fri, 13 Oct 2023 03:48:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 01:45:49.314317
- Title: ReelFramer: Human-AI Co-Creation for News-to-Video Translation
- Title(参考訳): ReelFramer:ニューズ・トゥ・ビデオ翻訳のためのヒューマンAI共同編集
- Authors: Sitong Wang, Samia Menon, Tao Long, Keren Henderson, Dingzeyu Li,
Kevin Crowston, Mark Hansen, Jeffrey V. Nickerson, Lydia B. Chilton
- Abstract要約: ソーシャルメディア上の短いビデオは、若者がコンテンツを消費する主要な方法だ。
生成AIは、コンテンツを変換する可能性があるが、多くの場合、それ自体が正確で一貫性がない。
我々は、ジャーナリストがニュースリールのためのスクリプトやストーリーボードを作成するのを助けるReelFramerという人間とAIの共同制作システムを紹介した。
- 参考スコア(独自算出の注目度): 18.981919581170175
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Short videos on social media are the dominant way young people consume
content. News outlets would like to reach audiences through news reels - short
videos that convey news - but struggle to translate traditional journalistic
formats into short, colloquial videos. Generative AI has the potential to
transform content but often fails to be correct and coherent by itself. To help
journalists create scripts and storyboards for news reels, we introduce a
human-AI co-creative system called ReelFramer. It uses an intermediate step of
framing and foundation to guide AI toward better outputs. We introduce three
narrative framings to balance information and entertainment in news reels. The
foundation for the script is a premise, and the foundation for the storyboard
is a character board. Our studies show that the premise helps generate more
relevant and coherent scripts and that co-creating with AI lowers journalists'
barriers to making their first news reels.
- Abstract(参考訳): ソーシャルメディア上の短いビデオは、若者がコンテンツを消費する主要な方法だ。
ニュースメディアはニュースリール(ニュースを流すショートビデオ)を通じて視聴者にリーチしたいが、伝統的なジャーナリストのフォーマットを短い口語のビデオに変換するのに苦労している。
生成AIは、コンテンツを変換する可能性があるが、多くの場合、それ自体が正確で一貫性がない。
ジャーナリストがニュースリールのためのスクリプトやストーリーボードを作成するのを助けるために、ReelFramerと呼ばれる人間とAIの共同制作システムを導入する。
フレーミングとファンデーションの中間ステップを使用して、AIをより良いアウトプットへと導く。
ニュースリールにおける情報とエンターテイメントのバランスをとるために,3つの物語フレームを導入する。
脚本の基礎は前提であり、ストーリーボードの基礎はキャラクターボードである。
我々の研究は、この前提がより適切で一貫性のあるスクリプトを生成するのに役立つことを示しており、aiとの共同制作はジャーナリストによる最初のニュースリール作成の障壁を低くする。
関連論文リスト
- Movie101v2: Improved Movie Narration Benchmark [53.54176725112229]
大規模なバイリンガル映画ナレーションデータセットMovie101v2を開発した。
映画ナレーションの達成に欠かせない課題を考慮し、長期的な目標を3段階に分けた。
以上の結果から,映画ナレーション生成の達成は,徹底的な研究を必要とする魅力的な目標であることが示唆された。
論文 参考訳(メタデータ) (2024-04-20T13:15:27Z) - Multi-modal News Understanding with Professionally Labelled Videos
(ReutersViLNews) [25.78619140103048]
我々はReuters ViLNewsデータセットと呼ばれるReuters News Agencyが収集した社内データセットを大規模に分析した。
このデータセットは、長文ニュースに重点を置いて、ハイレベルなビデオ言語理解に焦点を当てている。
その結果,ニュース指向ビデオは現在のビデオ言語理解アルゴリズムにとって大きな課題であることが示唆された。
論文 参考訳(メタデータ) (2024-01-23T00:42:04Z) - Shot2Story20K: A New Benchmark for Comprehensive Understanding of
Multi-shot Videos [58.13927287437394]
マルチショットビデオ理解ベンチマークShot2Story20Kに、詳細なショットレベルのキャプションと包括的ビデオ要約を付加する。
予備実験は、長大かつ包括的なビデオ要約を生成するためのいくつかの課題を示している。
論文 参考訳(メタデータ) (2023-12-16T03:17:30Z) - SCStory: Self-supervised and Continual Online Story Discovery [53.72745249384159]
SCStoryは、素早く公開されたニュース記事ストリームを人間のアノテーションなしでリアルタイムで消化するのに役立つ。
SCStoryは、ニュース記事ストリームのストーリー指向適応モデリングという新しいアイデアを取り入れて、自己指導的かつ継続的な学習を取り入れている。
論文 参考訳(メタデータ) (2023-11-27T04:50:01Z) - StoryBench: A Multifaceted Benchmark for Continuous Story Visualization [42.439670922813434]
StoryBench: テキストとビデオのモデルを確実に評価する、新しい、挑戦的なマルチタスクベンチマーク。
我々のベンチマークには、アクション実行、ストーリー継続、ストーリー生成という難易度を高める3つのビデオ生成タスクが含まれている。
従来の動画キャプションから生成したストーリーライクなデータに基づくトレーニングの利点を,小型ながら強力なテキスト・ビデオベースラインで評価した。
論文 参考訳(メタデータ) (2023-08-22T17:53:55Z) - VideoXum: Cross-modal Visual and Textural Summarization of Videos [54.0985975755278]
我々は新しい共同ビデオとテキスト要約タスクを提案する。
目標は、短縮されたビデオクリップと、長いビデオから対応するテキスト要約の両方を生成することだ。
生成された短縮ビデオクリップとテキストナラティブは、セマンティックに適切に調整されるべきである。
論文 参考訳(メタデータ) (2023-03-21T17:51:23Z) - Connecting Vision and Language with Video Localized Narratives [54.094554472715245]
視覚と言語を繋ぐマルチモーダルなビデオアノテーションの新たな形式であるビデオローカライズド・ナラティブスを提案する。
オリジナルのLocalized Narrativesでは、アノテータは画像上にマウスを同時に移動させ、各単語をマウストレースセグメントで接地する。
我々の新しいプロトコルは、アノテータがローカライズド・ナラティブ(Localized Narratives)を使ってビデオのストーリーを語ることを可能にし、複数のアクターが相互に相互作用し、複数の受動的オブジェクトを持つ複雑なイベントをキャプチャする。
論文 参考訳(メタデータ) (2023-02-22T09:04:00Z) - Detecting Narrative Elements in Informational Text [0.0]
NEAT(Narrative Elements AnnoTation)は,原文中の物語要素を検出する新しいNLPタスクである。
各種分野の46のニュース記事から収集した2,209文の新しいデータセットを注釈付けするために,本手法を用いる。
我々は、注釈付きデータセット上で複数の異なる設定で教師付きモデルを訓練し、異なる物語要素を識別し、平均F1スコアを最大0.77まで達成した。
論文 参考訳(メタデータ) (2022-10-06T16:23:33Z) - Narration Generation for Cartoon Videos [35.814965300322015]
そこで本研究では,複数箇所で挿入されるナレーションテキストを補完する新しいタスクナレーション生成手法を提案する。
アニメテレビシリーズPeppa Pigから新しいデータセットを収集します。
論文 参考訳(メタデータ) (2021-01-17T23:23:09Z) - CompRes: A Dataset for Narrative Structure in News [2.4578723416255754]
ニュースメディアにおける物語構造のための最初のデータセットであるCompResを紹介する。
アノテーション付きデータセットを使用して、複数の教師付きモデルをトレーニングし、異なる物語要素を識別します。
論文 参考訳(メタデータ) (2020-07-09T15:21:59Z) - Text Synopsis Generation for Egocentric Videos [72.52130695707008]
我々は、長い自我中心の動画の中で最も重要な出来事を記述したいくつかの文からなるテキスト合成を生成することを提案する。
ユーザーは短いテキストを読んでビデオについての洞察を得ることができ、さらに重要なのは、大きなビデオデータベースのコンテンツを効率的に検索できることだ。
論文 参考訳(メタデータ) (2020-05-08T00:28:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。