論文の概要: Clips2Story: Training-Free Video Storyboarding and Editing Using Multimodal Retrieval-Embedded Generation

• arxiv url: http://arxiv.org/abs/2611.05992v1
• Date: Wed, 04 Nov 2026 05:37:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.952923
• Title: Clips2Story: Training-Free Video Storyboarding and Editing Using Multimodal Retrieval-Embedded Generation
• Title（参考訳）: Clips2Story:マルチモーダル検索埋め込み生成による学習不要のビデオストーリーボードと編集
• Abstract要約: ビデオ編集者は、しばしば断片化された映像の大規模なコレクションで作業し、関連するクリップをコヒーレントなストーリーに選択して整理する必要がある。 トレーニング不要のLCMベースのパイプラインであるClips2Storyを導入し、ユーザーはビデオクリップのプールからキーワード指定されたショートビデオを作成することができる。 我々は、Clips2Storyがキーワード関連クリップを効果的に検索し、ユーザ指定のキーワードに基づいてコヒーレントなストーリーボードを構成することを実証した。
• 参考スコア（独自算出の注目度）: 6.65075980361494
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video editors often work with large collections of fragmented footage and must select and organize relevant clips into a coherent story. However, many existing video editing and summarization methods assume a temporally ordered source video and aim to preserve its original narrative and temporal structure. In this paper, we introduce Clips2Story, a training-free, LLM-based pipeline that enables users to create keyword-specified short videos from a pool of video clips. Given a pool of clips and a user-specified keyword, we first extract text-based multimodal descriptors for each clip and retrieve the clips most relevant to the keyword. We then provide the textual descriptors of these candidate clips to an LLM, which selects and arranges them into an editable storyboard with connective narrations. Finally, we assemble the selected clips and retrieve accompanying visuals for the narrations to compose the output video. To evaluate the proposed pipeline, we construct a synthetic evaluation dataset from 100 long-form videos across five genres by segmenting each video into short clips using a scene-change detection model and shuffling the resulting clips to remove their temporal order. Through objective evaluation and qualitative examples, we demonstrate that Clips2Story can effectively retrieve keyword-relevant clips and compose coherent storyboards based on user-specified keywords. Human evaluation further shows that Clips2Story outperforms a strong baseline in terms of narrative coherence, keyword alignment, and overall realism.
• Abstract（参考訳）: ビデオ編集者は、しばしば断片化された映像の大規模なコレクションで作業し、関連するクリップをコヒーレントなストーリーに選択して整理する必要がある。 しかし,既存のビデオ編集・要約手法の多くは,時間的に順序付けられたソース映像を前提として,そのオリジナルな物語と時間的構造を維持することを目的としている。 本稿では,ビデオクリップのプールからキーワードを指定したショートビデオを作成することができるトレーニングフリーのLLMベースのパイプラインであるClips2Storyを紹介する。 クリップのプールとユーザが指定したキーワードが与えられた場合、まず、各クリップに対してテキストベースのマルチモーダル記述子を抽出し、キーワードに最も関係のあるクリップを検索する。 次に、これらの候補クリップのテキスト記述子をLCMに提供し、それらを選択して、接続的なナレーションで編集可能なストーリーボードに配置する。 最後に、選択したクリップを組み立て、ナレーションに付随するビジュアルを検索して出力ビデオを構成する。 提案したパイプラインを評価するために,各映像をシーン変化検出モデルを用いてショートクリップに分割し,その結果のクリップをシャッフルして時間的順序を除去することにより,5つのジャンルにわたる100の長ビデオから合成された評価データセットを構築した。 本研究では,Clips2Storyがキーワード関連クリップを効果的に検索し,ユーザ指定のキーワードに基づいてコヒーレントなストーリーボードを作成できることを実証する。 人間の評価により、Clips2Storyは物語のコヒーレンス、キーワードのアライメント、全体的なリアリズムにおいて、強いベースラインを上回ります。

関連論文リスト

• Minimal Clips, Maximum Salience: Long Video Summarization via Key Moment Extraction [42.11774699832131]
  長大なビデオコンテンツの費用対効果分析を可能にするツールを設計することが重要である。 マルチモーダル要約に含まれるキー映像をターゲットとしたクリップ選択手法を提案する。
  論文  参考訳（メタデータ） (2025-12-12T09:19:45Z)
• From Long Videos to Engaging Clips: A Human-Inspired Video Editing Framework with Multimodal Narrative Understanding [16.83482677439144]
  ヒューマンインスパイアされた自動ビデオ編集フレームワーク(HIVE)を提案する。 提案手法は,多モーダル大言語モデルによる文字抽出,対話解析,物語要約を取り入れたものである。 我々のフレームワークは、一般的な編集タスクと広告指向編集タスクの両方において、既存のベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2025-07-03T16:54:32Z)
• Animate-A-Story: Storytelling with Retrieval-Augmented Video Generation [69.20173154096]
  本研究では,2つの機能モジュールからなるフレームワーク,Motion Structure RetrievalとStructure-Guided Text-to-Video Synthesisを開発した。 最初のモジュールでは、オフザシェルフビデオ検索システムを活用し、動画深度をモーション構造として抽出する。 第2のモジュールに対しては、構造と文字を柔軟に制御する制御可能なビデオ生成モデルを提案する。
  論文  参考訳（メタデータ） (2023-07-13T17:57:13Z)
• HierVL: Learning Hierarchical Video-Language Embeddings [108.77600799637172]
  HierVLは階層的なビデオ言語埋め込みであり、長期および短期の関連を同時に扱う。 クリップレベルとビデオレベルの両方でテキストと視覚のアライメントを促進する階層的なコントラストトレーニングの目標を導入する。 我々の階層的スキームは、SotAを達成した長期的なビデオ表現と同様に、その単一レベルよりも優れたクリップ表現をもたらす。
  論文  参考訳（メタデータ） (2023-01-05T21:53:19Z)
• Transcript to Video: Efficient Clip Sequencing from Texts [65.87890762420922]
  Transcript-to-Video - テキストを入力として使用する弱教師付きフレームワークで、広範なショットコレクションからビデオシーケンスを自動的に生成する。 具体的には、視覚言語表現とモデルショットシークエンシングスタイルを学習するためのコンテンツ検索モジュールとテンポラルコヒーレントモジュールを提案する。 高速な推論のために,リアルタイムビデオクリップシークエンシングのための効率的な検索手法を提案する。
  論文  参考訳（メタデータ） (2021-07-25T17:24:50Z)
• Beyond Short Clips: End-to-End Video-Level Learning with Collaborative Memories [56.91664227337115]
  本稿では,ビデオの複数のサンプルクリップにまたがる情報を,トレーニングイテレーション毎にエンコードするコラボレーティブメモリ機構を提案する。 これにより、単一のクリップ以上の長距離依存関係の学習が可能になる。 提案するフレームワークはエンドツーエンドでトレーニング可能で,計算オーバーヘッドが無視できないビデオ分類精度が大幅に向上する。
  論文  参考訳（メタデータ） (2021-04-02T18:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。