論文の概要: Complementary Retrieval-Augmented Prompting for Consistent Long-Form Video Generation

• arxiv url: http://arxiv.org/abs/2609.37407v1
• Date: Tue, 29 Sep 2026 12:43:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.495653
• Title: Complementary Retrieval-Augmented Prompting for Consistent Long-Form Video Generation
• Title（参考訳）: 連続長大映像生成のための補完的検索強化プロンプト
• Abstract要約: 既存のトレーニングなしのアプローチは、典型的には、回収された歴史的ビジュアルを使用して標的ショットを条件付けする。 本稿では,コンパクトな相互支援型歴史的参照集合を集約するエージェントフレームワークであるComplementary Retrieval-Augmented Promptingを提案する。 本フレームワークは,ナラティブスクリプトをテキストグラウンドのビジュアル要素レジストリに解析することで,各ターゲットが必要とするビジュアル要素を明示的にモデル化する。
• 参考スコア（独自算出の注目度）: 18.03444979441404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While recent video foundation models excel at generating high-quality short videos, long-form video generation remains a critical challenge, where a major bottleneck lies in conditioning independently generated shots to preserve consistent characters, scenes, and objects throughout a story. Existing training-free approaches typically condition target shots using retrieved historical visuals. However, these references often suffer from severe informational mismatch, either introducing irrelevant contextual redundancy or failing to provide the full combination of required elements for the target shot. To resolve this, we present Complementary Retrieval-Augmented Prompting, an agentic framework that strategically aggregates a compact set of mutually supportive historical references to achieve complete and targeted conditioning for long-form video generation without retraining or modifying the underlying generator. Specifically, our framework explicitly models the visual elements required by each target shot by parsing the narrative script into a text-grounded visual element registry that tracks characters, objects, scenes, and their shot-level states. A VLM-annotated keyframe library further maps these elements to past visual observations. Guided by the required elements, our agent retrieves complementary references that maximize target-element coverage while minimizing historical noise. Finally, the retrieved references, structured element states, and grounding instructions are assembled into a unified prompt for the frozen video generator. This element-aware process provides comprehensive conditioning while remaining fully interpretable. Quantitative and qualitative evaluations on multi-shot story generation demonstrate that our method consistently outperforms recent-frame, memory-based, and entity-level retrieval baselines in cross-shot consistency and text-controllability.
• Abstract（参考訳）: 最近のビデオファンデーションモデルは高品質のショートビデオを生成するのに優れているが、長めのビデオ生成は依然として重要な課題であり、ストーリー全体を通して一貫したキャラクター、シーン、オブジェクトを保持するために、独立して生成されたショットを条件付けることが大きなボトルネックとなっている。 既存のトレーニングなしのアプローチは、典型的には、回収された歴史的ビジュアルを使用して標的ショットを条件付けする。 しかしながら、これらの参照はしばしば深刻な情報的ミスマッチに悩まされ、無関係な文脈冗長性を導入するか、またはターゲットショットに必要な要素の完全な組み合わせを提供しない。 これを解決するために,提案するエージェントフレームワークであるComplementary Retrieval-Augmented Promptingを提案する。 具体的には,各ターゲットが必要とする視覚的要素を,文字やオブジェクト,シーン,ショットレベル状態を追跡するテキストグラウンドの視覚的要素レジストリに解析することで,明示的にモデル化する。 VLMアノテーション付きキーフレームライブラリはさらにこれらの要素を過去の視覚的観察にマッピングする。 必要な要素によってガイドされたエージェントは、過去のノイズを最小限に抑えながら、ターゲット要素のカバレッジを最大化する補完的な参照を検索する。 最後に、検索された参照、構造化された要素状態、グラウンド命令を、凍結ビデオジェネレータの統一プロンプトに組み立てる。 この要素認識プロセスは、完全に解釈可能でありながら、包括的な条件付けを提供する。 マルチショットストーリー生成における定量的,定性的な評価は,近年のフレーム,メモリベース,エンティティレベルの検索ベースラインを,クロスショット一貫性とテキスト制御性において一貫して上回っていることを示す。

関連論文リスト

• SceneRAG: Scene-level Retrieval-Augmented Generation for Video Understanding [6.980340270823506]
  SceneRAGは,映像を物語に一貫性のあるシーンに分割するフレームワークである。 各シーンについて、このフレームワークは視覚とテキストの両方のモダリティから情報を融合し、エンティティ関係を抽出する。 LongerVideosベンチマークの実験では、134時間以上の多様なコンテンツがあり、SceneRAGが以前のベースラインを大幅に上回っていることを確認した。
  論文  参考訳（メタデータ） (2025-06-09T10:00:54Z)
• InfLVG: Reinforce Inference-Time Consistent Long Video Generation with GRPO [73.33751812982342]
  InfLVGは、追加のロングフォームビデオデータを必要としないコヒーレントなロングビデオ生成を可能にする推論時フレームワークである。 InfLVGはビデオ長を最大9$times$まで拡張でき、シーン間の一貫性とセマンティック忠実性を実現することができる。
  論文  参考訳（メタデータ） (2025-05-23T07:33:25Z)
• TC-Bench: Benchmarking Temporal Compositionality in Text-to-Video and Image-to-Video Generation [97.96178992465511]
  生成したビデオは、新しい概念の出現と、時間経過とともに現実の動画のようにそれらの関係の遷移を取り入れるべきである、と我々は主張する。 ビデオ生成モデルの時間構成性を評価するため,細部まで作り上げたテキストプロンプトのベンチマークであるTC-Benchと,それに対応する地上の真理ビデオ,ロバストな評価指標を提案する。
  論文  参考訳（メタデータ） (2024-06-12T21:41:32Z)
• LLM Blueprint: Enabling Text-to-Image Generation with Complex and Detailed Prompts [60.54912319612113]
  拡散に基づく生成モデルは、テキストと画像の生成が著しく進歩するが、長く複雑なテキストプロンプトを処理する際には困難に直面する。 本稿では,Large Language Models (LLM) を利用してテキストプロンプトから重要なコンポーネントを抽出する手法を提案する。 複数のオブジェクトを特徴とする複雑なプロンプトの評価は,ベースライン拡散モデルと比較して,リコールの大幅な改善を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:57:37Z)
• Make-A-Story: Visual Memory Conditioned Consistent Story Generation [57.691064030235985]
  本稿では,アクタと背景コンテキストを暗黙的にキャプチャするビジュアルメモリモジュールを備えた,自己回帰拡散に基づく新しいフレームワークを提案する。 本手法は,視覚的品質の高いフレーム生成において,先行技術よりも優れていた。 MUGEN, PororoSV, FlintstonesSVデータセット上でのストーリー生成実験により, この手法は, 視覚的品質の高いフレーム生成において, 先行技術よりも優れるだけでなく, キャラクタと背景との適切な対応をモデル化した。
  論文  参考訳（メタデータ） (2022-11-23T21:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。