論文の概要: Memory-Guided B-Roll Generation from User Video Collections
- arxiv url: http://arxiv.org/abs/2610.01884v1
- Date: Thu, 01 Oct 2026 15:37:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.229227
- Title: Memory-Guided B-Roll Generation from User Video Collections
- Title（参考訳）: ユーザビデオコレクションからのメモリガイドBロール生成
- Abstract要約: コレクショングラウンドBロールシーケンス生成のためのアプローチを提案する。
ユーザのビデオコレクション、自然言語によるディレクティブ、目標期間が与えられた場合、目標はマルチショットシーケンスを生成することである。
MemComposerは、生の映像を視覚的な参照で構造化されたメモリに変える。
- 参考スコア（独自算出の注目度）: 28.245396523613195
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We introduce an approach for collection-grounded B-roll sequence generation. Given a user's video collection, a directive given in natural language, and a target duration, the goal is to produce a multi-shot sequence that complements the user's primary footage (A-roll) while preserving the collection's characters, settings, objects, and style. This task is challenging as one must choose the visual evidence from hours of captured footage that should guide the generation of each shot in the sequence. We address this challenge with MemComposer, a three-stage system that turns raw footage into a structured memory with visual references (characters, settings, objects, and style) and uses it to plan, retrieve, and generate grounded B-roll sequences. First, in a one-time offline stage, MemComposer constructs an entity-centric memory from raw video. Second, it uses the memory and user directive to plan a grounded sequence and retrieve conditioning frames for each shot. Third, it iteratively generates and critiques the sequence to enforce identity, setting, and sequence-level consistency. We evaluate MemComposer in a user preference study along two dimensions: prompt adherence and visual alignment to the user's collection. Against an ungrounded text-to-video planner, MemComposer wins 60.0\% of prompt-adherence and 92.8\% of visual-alignment comparisons, showing the grounding benefit of collection memory and reference retrieval. Against retrieval-only sequences assembled from captured footage, MemComposer wins 94.5\% of prompt-adherence comparisons, showing the value of generating missing shots, while retrieval-only sequences are preferred for visual alignment in 58.2\% of comparisons.
- Abstract（参考訳）: コレクショングラウンドBロールシーケンス生成のためのアプローチを提案する。
ユーザのビデオコレクション、自然言語によるディレクティブ、および目標期間を前提として、コレクションの文字、設定、オブジェクト、スタイルを保存しながら、ユーザの一次映像(Aロール)を補完するマルチショットシーケンスを生成することが目標である。
このタスクは、シーン内の各ショットの生成を導くために、撮影された映像の数時間から視覚的証拠を選ばなければならないため、難しい。
この課題に対処するMemComposerは、生の映像を視覚的参照(キャラクタ、設定、オブジェクト、スタイル)で構造化されたメモリに変換する3段階のシステムである。
まず、一度のオフラインステージにおいて、MemComposerは生のビデオからエンティティ中心のメモリを構築する。
第2に、メモリとユーザディレクティブを使用して、接地シーケンスを計画し、各ショットのコンディショニングフレームを取得する。
第3に、シーケンスを反復的に生成して、アイデンティティ、設定、シーケンスレベルの一貫性を強制する。
我々は,MemComposerを,ユーザのコレクションへの迅速な付着と視覚的アライメントの2つの側面に沿って評価した。
アングラウンドのテキスト・ビデオ・プランナーに対して、MemComposerは60.0\%のプロンプト・アドヒアランスと92.8\%のビジュアル・アライメント比較を勝ち取り、コレクションメモリと参照検索の利点を示す。
キャプチャされた映像から集められた検索専用シーケンスに対して、MemComposerは94.5\%のプロンプト・アジェンス比較を勝ち取り、不足ショットを生成する価値を示し、検索専用シーケンスは58.2\%のビジュアルアライメントに好まれる。
関連論文リスト
- Complementary Retrieval-Augmented Prompting for Consistent Long-Form Video Generation [18.03444979441404]
既存のトレーニングなしのアプローチは、典型的には、回収された歴史的ビジュアルを使用して標的ショットを条件付けする。
本稿では,コンパクトな相互支援型歴史的参照集合を集約するエージェントフレームワークであるComplementary Retrieval-Augmented Promptingを提案する。
本フレームワークは,ナラティブスクリプトをテキストグラウンドのビジュアル要素レジストリに解析することで,各ターゲットが必要とするビジュアル要素を明示的にモデル化する。
論文 参考訳（メタデータ） (2026-09-29T12:43:27Z) - SubjectAnchor: Subject-Aware Memory-to-Video for Multi-Shot Storytelling [21.646374427564144]
本稿では,過去の映像から抽出した明示的な視覚記憶を条件に,現在の映像を生成するマルチショットストーリーテリングのパラダイムであるAnchorを提案する。
SubjectAnchorには、主観的関連メモリ構成、主観的対応の時間的回転位置符号化、メモリ対応の注意分割という3つの重要なコンポーネントが含まれている。
実験により、Anchorは、競争力のある視覚的品質を維持しながら、代表的なメモリベースおよび全体的ベースラインよりも、ショット間のアイデンティティ整合性を向上することが示された。
論文 参考訳（メタデータ） (2026-09-28T07:47:44Z) - AutoViewMem: Self-Configuring Orthogonal Views for Conversational Long-Term Memory [9.664219846744492]
AutoViewMemは、長期会話メモリをインデックス化する前に、自己設定型の低オーバーラップセマンティックビューに整理する。
この表現優先設計は、意味的証明を検索時間から書き込み時間に移行し、標準的なトップK類似性探索により、明示的なルーティングや反復的な検索をすることなく、集中した証拠を検索できる。
論文 参考訳（メタデータ） (2026-09-18T15:55:29Z) - Rethinking RAG in Long Videos: What to Retrieve and How to Use It? [56.38819694781005]
V-RAGBenchは$langle$query, evidence chunk, answer$rangle$三重項のベンチマークで、検索と生成を忠実に分離した評価を可能にする。
また、CARVEは、コンフィグレーションにまたがって並列レトリバーを動作させ、チャンク毎に入賞構成を識別するためにチャンク適応リランクを用いる手法である。
論文 参考訳（メタデータ） (2026-06-11T10:05:49Z) - ReCA: Multi-Shot Long Video Extrapolation via Recursive Context Allocation [69.45329019089041]
マルチショットビデオ外挿(マルチショットビデオ外挿、Multi-Shot Video Extrapolation、MSVE)は、観察されたフレームまたはクリップを撮影的に構造化された一連のショットに拡張するタスクである。
MSVEは、長ビデオの障害は単にコンテキスト長の制限ではなく、コンテキスト割り当ての障害であることを明らかにした。
本稿では,再帰的コンテキスト割当(Recursive Context Allocation, ReCA)を提案する。
論文 参考訳（メタデータ） (2026-05-26T04:16:56Z) - VideoMemory: Toward Consistent Video Generation via Memory Integration [28.605816634949814]
VideoMemoryは、Dynamic Memory Bankを通じてナラティブプランニングとビジュアルジェネレーションを統合する。
ダイナミックメモリバンクは、文字、小道具、背景の明示的な視覚的および意味的な記述を格納する。
この検索更新機構は、遠距離ショット間のエンティティの一貫性のある表現を可能にし、コヒーレントなロングフォーム生成をサポートする。
論文 参考訳（メタデータ） (2026-01-07T07:10:32Z) - Cut2Next: Generating Next Shot via In-Context Tuning [93.14744132897428]
マルチショット生成には、目的があり、映画のような遷移と厳密な撮影連続性が必要である。
現在の手法はしばしば基本的な視覚的一貫性を優先し、重要な編集パターンを無視している。
我々は、プロの編集パターンを批判的に合成する、その後の高品質なショットであるNext Shot Generation (NSG)を紹介する。
論文 参考訳（メタデータ） (2025-08-11T17:56:59Z) - VMem: Consistent Interactive Video Scene Generation with Surfel-Indexed View Memory [55.73900731190389]
Surfel-Indexed View Memory (VMem) は、過去のビューを記憶するメモリモジュールであり、それらが観測した3次元表面要素(サーフェル)に基づいて幾何学的にインデックス化することで、過去のビューを記憶する。
VMemは、新しいビューを生成する際に、最も関連性の高い過去のビューを効率的に検索することを可能にする。
論文 参考訳（メタデータ） (2025-06-23T17:59:56Z) - VideoGen-of-Thought: Step-by-step generating multi-shot video with minimal manual intervention [76.3175166538482]
VideoGen-of-Thought(VGoT)は、単一の文から複数ショットのビデオ合成を自動化するステップバイステップのフレームワークである。
VGoTは、ナラティブな断片化、視覚的不整合、トランジションアーティファクトの3つの課題に対処する。
トレーニング不要のパイプラインで組み合わせられたVGoTは、ショット内面の一貫性が20.4%、スタイルの一貫性が17.4%向上した。
論文 参考訳（メタデータ） (2024-12-03T08:33:50Z) - ReWind: Understanding Long Videos with Instructed Learnable Memory [8.002949551539297]
VLM(Vision-Language Models)は、テキスト情報と視覚情報の統合的な理解を必要とするアプリケーションに不可欠である。
本稿では,時間的忠実さを保ちながら,より効率的な長時間ビデオ理解を実現するためのメモリベースの新しいVLMであるReWindを紹介する。
本稿では,視覚的質問応答(VQA)と時間的グラウンド処理におけるReWindの優れた性能を実証的に示す。
論文 参考訳（メタデータ） (2024-11-23T13:23:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。