論文の概要: ReelFramer: Co-creating News Reels on Social Media with Generative AI
- arxiv url: http://arxiv.org/abs/2304.09653v1
- Date: Wed, 19 Apr 2023 13:44:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-20 14:24:35.102953
- Title: ReelFramer: Co-creating News Reels on Social Media with Generative AI
- Title（参考訳）: reelframer: 生成aiを使ったソーシャルメディア上のニュースリール
- Authors: Sitong Wang, Samia Menon, Tao Long, Keren Henderson, Dingzeyu Li,
Kevin Crowston, Mark Hansen, Jeffrey V. Nickerson, Lydia B. Chilton
- Abstract要約: 本稿では、ジャーナリストが物語の複数の物語を探索するのを助けるために、テキストと画像生成を利用するReelFramerというシステムを提案する。
ジャーナリズム関連分野の5人の大学院生を対象にしたユーザスタディでは、文章をリールに変換する際の負担が大幅に軽減された。
- 参考スコア（独自算出の注目度）: 13.734123728744994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Short videos on social media are a prime way many young people find and
consume content. News outlets would like to reach audiences through news reels,
but currently struggle to translate traditional journalistic formats into the
short, entertaining videos that match the style of the platform. There are many
ways to frame a reel-style narrative around a news story, and selecting one is
a challenge. Different news stories call for different framings, and require a
different trade-off between entertainment and information. We present a system
called ReelFramer that uses text and image generation to help journalists
explore multiple narrative framings for a story, then generate scripts,
character boards and storyboards they can edit and iterate on. A user study of
five graduate students in journalism-related fields found the system greatly
eased the burden of transforming a written story into a reel, and that
exploring framings to find the right one was a rewarding process.
- Abstract（参考訳）: ソーシャルメディア上の短いビデオは、多くの若者がコンテンツを見つけて消費する主要な方法だ。
ニュースメディアはニュースリールを通じてオーディエンスにリーチしたいと思うが、今のところ、従来のジャーナリストのフォーマットを、プラットフォームのスタイルにマッチする短い楽しいビデオに変換するのに苦労している。
ニュースにまつわるリールスタイルの物語を作るには多くの方法があり、その物語を選ぶことは難しい。
異なるニュース記事は異なるフレーミングを求め、エンターテイメントと情報の間に異なるトレードオフを必要とする。
ReelFramerと呼ばれるシステムは、ジャーナリストがストーリーのための複数の物語のフレーミングを探索し、それを編集し反復できるスクリプト、キャラクタボード、ストーリーボードを生成するのに、テキストと画像生成を利用する。
ジャーナリズム関連分野の5人の大学院生を対象にしたユーザスタディでは、文章をリールに変換する際の負担を大幅に軽減し、正しいストーリーを見つけるためのフレーミングは報奨プロセスであることがわかった。
関連論文リスト
- StoryAgent: Customized Storytelling Video Generation via Multi-Agent Collaboration [88.94832383850533]
CSVG(Customized Storytelling Video Generation)のためのマルチエージェントフレームワークを提案する。
StoryAgentはCSVGを特殊エージェントに割り当てられた個別のサブタスクに分解し、プロの制作プロセスを反映する。
具体的には、撮影時間内整合性を高めるために、カスタマイズされたイメージ・ツー・ビデオ(I2V)手法であるLoRA-BEを導入する。
コントリビューションには、ビデオ生成タスクのための汎用フレームワークであるStoryAgentの導入や、プロタゴニストの一貫性を維持するための新しい技術が含まれている。
論文 参考訳（メタデータ） (2024-11-07T18:00:33Z) - Agents' Room: Narrative Generation through Multi-step Collaboration [54.98886593802834]
本稿では,物語の執筆を特殊エージェントが取り組んだサブタスクに分解する,物語理論に触発された世代フレームワークを提案する。
エージェントの部屋は,専門的評価者が好むストーリーをベースラインシステムより生成することを示す。
論文 参考訳（メタデータ） (2024-10-03T15:44:42Z) - The Lost Melody: Empirical Observations on Text-to-Video Generation From A Storytelling Perspective [4.471962177124311]
ストーリーテリングの観点からテキスト・ビデオ生成について検討するが,研究はほとんど行われていない。
本稿では,映像のストーリーテリングに関する評価フレームワークを提案し,今後の方向性について論じる。
論文 参考訳（メタデータ） (2024-05-13T02:25:08Z) - Movie101v2: Improved Movie Narration Benchmark [53.54176725112229]
映像の自動ナレーションは、視覚障害者を支援するために、映像に合わせたプロット記述を生成することを目的としている。
映画ナレーションに特化して設計されたデータ品質を向上した大規模バイリンガルデータセットであるMovie101v2を紹介する。
新しいベンチマークに基づいて,GPT-4Vを含む多数の視覚言語モデルをベースライン化し,ナレーション生成における課題の詳細な分析を行う。
論文 参考訳（メタデータ） (2024-04-20T13:15:27Z) - Multi-modal News Understanding with Professionally Labelled Videos
(ReutersViLNews) [25.78619140103048]
我々はReuters ViLNewsデータセットと呼ばれるReuters News Agencyが収集した社内データセットを大規模に分析した。
このデータセットは、長文ニュースに重点を置いて、ハイレベルなビデオ言語理解に焦点を当てている。
その結果,ニュース指向ビデオは現在のビデオ言語理解アルゴリズムにとって大きな課題であることが示唆された。
論文 参考訳（メタデータ） (2024-01-23T00:42:04Z) - Shot2Story20K: A New Benchmark for Comprehensive Understanding of
Multi-shot Videos [58.13927287437394]
マルチショットビデオ理解ベンチマークShot2Story20Kに、詳細なショットレベルのキャプションと包括的ビデオ要約を付加する。
予備実験は、長大かつ包括的なビデオ要約を生成するためのいくつかの課題を示している。
論文 参考訳（メタデータ） (2023-12-16T03:17:30Z) - StoryBench: A Multifaceted Benchmark for Continuous Story Visualization [42.439670922813434]
StoryBench: テキストとビデオのモデルを確実に評価する、新しい、挑戦的なマルチタスクベンチマーク。
我々のベンチマークには、アクション実行、ストーリー継続、ストーリー生成という難易度を高める3つのビデオ生成タスクが含まれている。
従来の動画キャプションから生成したストーリーライクなデータに基づくトレーニングの利点を,小型ながら強力なテキスト・ビデオベースラインで評価した。
論文 参考訳（メタデータ） (2023-08-22T17:53:55Z) - Connecting Vision and Language with Video Localized Narratives [54.094554472715245]
視覚と言語を繋ぐマルチモーダルなビデオアノテーションの新たな形式であるビデオローカライズド・ナラティブスを提案する。
オリジナルのLocalized Narrativesでは、アノテータは画像上にマウスを同時に移動させ、各単語をマウストレースセグメントで接地する。
我々の新しいプロトコルは、アノテータがローカライズド・ナラティブ(Localized Narratives)を使ってビデオのストーリーを語ることを可能にし、複数のアクターが相互に相互作用し、複数の受動的オブジェクトを持つ複雑なイベントをキャプチャする。
論文 参考訳（メタデータ） (2023-02-22T09:04:00Z) - Narration Generation for Cartoon Videos [35.814965300322015]
そこで本研究では,複数箇所で挿入されるナレーションテキストを補完する新しいタスクナレーション生成手法を提案する。
アニメテレビシリーズPeppa Pigから新しいデータセットを収集します。
論文 参考訳（メタデータ） (2021-01-17T23:23:09Z) - CompRes: A Dataset for Narrative Structure in News [2.4578723416255754]
ニュースメディアにおける物語構造のための最初のデータセットであるCompResを紹介する。
アノテーション付きデータセットを使用して、複数の教師付きモデルをトレーニングし、異なる物語要素を識別します。
論文 参考訳（メタデータ） (2020-07-09T15:21:59Z) - Text Synopsis Generation for Egocentric Videos [72.52130695707008]
我々は、長い自我中心の動画の中で最も重要な出来事を記述したいくつかの文からなるテキスト合成を生成することを提案する。
ユーザーは短いテキストを読んでビデオについての洞察を得ることができ、さらに重要なのは、大きなビデオデータベースのコンテンツを効率的に検索できることだ。
論文 参考訳（メタデータ） (2020-05-08T00:28:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。