論文の概要: ReelFramer: Human-AI Co-Creation for News-to-Video Translation
- arxiv url: http://arxiv.org/abs/2304.09653v2
- Date: Fri, 13 Oct 2023 03:48:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 01:45:49.314317
- Title: ReelFramer: Human-AI Co-Creation for News-to-Video Translation
- Title（参考訳）: ReelFramer:ニューズ・トゥ・ビデオ翻訳のためのヒューマンAI共同編集
- Authors: Sitong Wang, Samia Menon, Tao Long, Keren Henderson, Dingzeyu Li,
Kevin Crowston, Mark Hansen, Jeffrey V. Nickerson, Lydia B. Chilton
- Abstract要約: ソーシャルメディア上の短いビデオは、若者がコンテンツを消費する主要な方法だ。
生成AIは、コンテンツを変換する可能性があるが、多くの場合、それ自体が正確で一貫性がない。
我々は、ジャーナリストがニュースリールのためのスクリプトやストーリーボードを作成するのを助けるReelFramerという人間とAIの共同制作システムを紹介した。
- 参考スコア（独自算出の注目度）: 18.981919581170175
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Short videos on social media are the dominant way young people consume
content. News outlets would like to reach audiences through news reels - short
videos that convey news - but struggle to translate traditional journalistic
formats into short, colloquial videos. Generative AI has the potential to
transform content but often fails to be correct and coherent by itself. To help
journalists create scripts and storyboards for news reels, we introduce a
human-AI co-creative system called ReelFramer. It uses an intermediate step of
framing and foundation to guide AI toward better outputs. We introduce three
narrative framings to balance information and entertainment in news reels. The
foundation for the script is a premise, and the foundation for the storyboard
is a character board. Our studies show that the premise helps generate more
relevant and coherent scripts and that co-creating with AI lowers journalists'
barriers to making their first news reels.
- Abstract（参考訳）: ソーシャルメディア上の短いビデオは、若者がコンテンツを消費する主要な方法だ。
ニュースメディアはニュースリール(ニュースを流すショートビデオ)を通じて視聴者にリーチしたいが、伝統的なジャーナリストのフォーマットを短い口語のビデオに変換するのに苦労している。
生成AIは、コンテンツを変換する可能性があるが、多くの場合、それ自体が正確で一貫性がない。
ジャーナリストがニュースリールのためのスクリプトやストーリーボードを作成するのを助けるために、ReelFramerと呼ばれる人間とAIの共同制作システムを導入する。
フレーミングとファンデーションの中間ステップを使用して、AIをより良いアウトプットへと導く。
ニュースリールにおける情報とエンターテイメントのバランスをとるために,3つの物語フレームを導入する。
脚本の基礎は前提であり、ストーリーボードの基礎はキャラクターボードである。
我々の研究は、この前提がより適切で一貫性のあるスクリプトを生成するのに役立つことを示しており、aiとの共同制作はジャーナリストによる最初のニュースリール作成の障壁を低くする。
関連論文リスト
- StoryAgent: Customized Storytelling Video Generation via Multi-Agent Collaboration [88.94832383850533]
CSVG(Customized Storytelling Video Generation)のためのマルチエージェントフレームワークを提案する。
StoryAgentはCSVGを特殊エージェントに割り当てられた個別のサブタスクに分解し、プロの制作プロセスを反映する。
具体的には、撮影時間内整合性を高めるために、カスタマイズされたイメージ・ツー・ビデオ(I2V)手法であるLoRA-BEを導入する。
コントリビューションには、ビデオ生成タスクのための汎用フレームワークであるStoryAgentの導入や、プロタゴニストの一貫性を維持するための新しい技術が含まれている。
論文 参考訳（メタデータ） (2024-11-07T18:00:33Z) - Agents' Room: Narrative Generation through Multi-step Collaboration [54.98886593802834]
本稿では,物語の執筆を特殊エージェントが取り組んだサブタスクに分解する,物語理論に触発された世代フレームワークを提案する。
エージェントの部屋は,専門的評価者が好むストーリーをベースラインシステムより生成することを示す。
論文 参考訳（メタデータ） (2024-10-03T15:44:42Z) - The Lost Melody: Empirical Observations on Text-to-Video Generation From A Storytelling Perspective [4.471962177124311]
ストーリーテリングの観点からテキスト・ビデオ生成について検討するが,研究はほとんど行われていない。
本稿では,映像のストーリーテリングに関する評価フレームワークを提案し,今後の方向性について論じる。
論文 参考訳（メタデータ） (2024-05-13T02:25:08Z) - Movie101v2: Improved Movie Narration Benchmark [53.54176725112229]
映像の自動ナレーションは、視覚障害者を支援するために、映像に合わせたプロット記述を生成することを目的としている。
映画ナレーションに特化して設計されたデータ品質を向上した大規模バイリンガルデータセットであるMovie101v2を紹介する。
新しいベンチマークに基づいて,GPT-4Vを含む多数の視覚言語モデルをベースライン化し,ナレーション生成における課題の詳細な分析を行う。
論文 参考訳（メタデータ） (2024-04-20T13:15:27Z) - Multi-modal News Understanding with Professionally Labelled Videos
(ReutersViLNews) [25.78619140103048]
我々はReuters ViLNewsデータセットと呼ばれるReuters News Agencyが収集した社内データセットを大規模に分析した。
このデータセットは、長文ニュースに重点を置いて、ハイレベルなビデオ言語理解に焦点を当てている。
その結果,ニュース指向ビデオは現在のビデオ言語理解アルゴリズムにとって大きな課題であることが示唆された。
論文 参考訳（メタデータ） (2024-01-23T00:42:04Z) - Shot2Story20K: A New Benchmark for Comprehensive Understanding of
Multi-shot Videos [58.13927287437394]
マルチショットビデオ理解ベンチマークShot2Story20Kに、詳細なショットレベルのキャプションと包括的ビデオ要約を付加する。
予備実験は、長大かつ包括的なビデオ要約を生成するためのいくつかの課題を示している。
論文 参考訳（メタデータ） (2023-12-16T03:17:30Z) - StoryBench: A Multifaceted Benchmark for Continuous Story Visualization [42.439670922813434]
StoryBench: テキストとビデオのモデルを確実に評価する、新しい、挑戦的なマルチタスクベンチマーク。
我々のベンチマークには、アクション実行、ストーリー継続、ストーリー生成という難易度を高める3つのビデオ生成タスクが含まれている。
従来の動画キャプションから生成したストーリーライクなデータに基づくトレーニングの利点を,小型ながら強力なテキスト・ビデオベースラインで評価した。
論文 参考訳（メタデータ） (2023-08-22T17:53:55Z) - Connecting Vision and Language with Video Localized Narratives [54.094554472715245]
視覚と言語を繋ぐマルチモーダルなビデオアノテーションの新たな形式であるビデオローカライズド・ナラティブスを提案する。
オリジナルのLocalized Narrativesでは、アノテータは画像上にマウスを同時に移動させ、各単語をマウストレースセグメントで接地する。
我々の新しいプロトコルは、アノテータがローカライズド・ナラティブ(Localized Narratives)を使ってビデオのストーリーを語ることを可能にし、複数のアクターが相互に相互作用し、複数の受動的オブジェクトを持つ複雑なイベントをキャプチャする。
論文 参考訳（メタデータ） (2023-02-22T09:04:00Z) - Narration Generation for Cartoon Videos [35.814965300322015]
そこで本研究では,複数箇所で挿入されるナレーションテキストを補完する新しいタスクナレーション生成手法を提案する。
アニメテレビシリーズPeppa Pigから新しいデータセットを収集します。
論文 参考訳（メタデータ） (2021-01-17T23:23:09Z) - CompRes: A Dataset for Narrative Structure in News [2.4578723416255754]
ニュースメディアにおける物語構造のための最初のデータセットであるCompResを紹介する。
アノテーション付きデータセットを使用して、複数の教師付きモデルをトレーニングし、異なる物語要素を識別します。
論文 参考訳（メタデータ） (2020-07-09T15:21:59Z) - Text Synopsis Generation for Egocentric Videos [72.52130695707008]
我々は、長い自我中心の動画の中で最も重要な出来事を記述したいくつかの文からなるテキスト合成を生成することを提案する。
ユーザーは短いテキストを読んでビデオについての洞察を得ることができ、さらに重要なのは、大きなビデオデータベースのコンテンツを効率的に検索できることだ。
論文 参考訳（メタデータ） (2020-05-08T00:28:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。