論文の概要: VIS-Ground: Video Interactive Storytelling with Contextual Grounding

• arxiv url: http://arxiv.org/abs/2610.09326v2
• Date: Fri, 09 Oct 2026 19:50:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-14 23:39:49.467309
• Title: VIS-Ground: Video Interactive Storytelling with Contextual Grounding
• Title（参考訳）: VIS-Ground: コンテキストグラウンドによるインタラクティブなストーリーテリング
• Abstract要約: 我々は、不均一な入力コンテキストをビデオ生成のための実行可能な制約モデルに変換するプロセスとしてコンテキストグラウンドを導入する。 VIS-Groundは最高総合スコアを一貫して達成し、バックボーン毎のベースラインよりも平均10.3ポイント向上した。
• 参考スコア（独自算出の注目度）: 65.05595690379268
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video interactive storytelling enables viewers to actively steer how a video unfolds. However, once we allow viewers to intervene during generation, a new challenge arises: The viewer's request can have latent dependencies on both the grounding source and the current rendered video state. These dependencies may not be explicitly stated in any individual input, but emerge only when the source, rendered history, and new viewer intent are considered jointly. Existing interactive video generation systems primarily emphasize following viewer instructions, while source-grounded video generation methods focus on aligning generated content with an external narrative or knowledge source. This leaves a fundamental question underexplored: What context should a generation model ground on during interactive continuation, and how can heterogeneous, unstructured inputs be transformed into such grounding context? In this work, we formulate contextual grounding as the process of transforming heterogeneous input context into an executable constraint model for video generation. To address this challenge, we introduce VIS-Ground, which performs Structured Context Abstraction to recover grounded states and cross-context dependencies, Generation Constraints Induction to project relevant dependencies into candidate-specific constraints, and Constrained Video Generation to enforce these constraints through planning, verification, revision, and rendering. Across three video generation backbones, VIS-Ground consistently achieves the highest overall composite score, reaching an average absolute improvement of 10.3 points over the strongest per-backbone baselines. Detailed analysis further shows gains across both narrative and knowledge grounding, and reveals remaining challenges in dependency extraction, and faithful realization during video rendering.
• Abstract（参考訳）: ビデオのインタラクティブなストーリーテリングにより、視聴者はビデオの展開を積極的に操作できる。 ビューアの要求は、基盤となるソースと現在のレンダリングされたビデオ状態の両方に遅延依存性を持つことができます。 これらの依存関係は個々の入力で明示的に記述されないが、ソース、レンダリングされた履歴、新しいビューアインテントが共同で検討されている場合にのみ現れる。 既存のインタラクティブビデオ生成システムは、主に視聴者の指示に従うことを強調するが、ソース・グラウンドド・ビデオ生成手法は、生成されたコンテンツを外部の物語や知識ソースと整合させることに重点を置いている。 インタラクティブな継続の間、生成モデルが基盤となるコンテキストはどのようなもので、なぜ異質で非構造的な入力がそのような基盤となるコンテキストに変換されるのか? 本研究では、不均一な入力コンテキストをビデオ生成のための実行可能な制約モデルに変換する過程としてコンテキストグラウンドを定式化する。 この課題に対処するために、基底状態とコンテキスト間の依存関係を復元するStructured Context Abstractionを実行するVIS-Ground、関連する依存関係を候補固有の制約にプロジェクションするGeneration Constraints、計画、検証、修正、レンダリングを通じてこれらの制約を強制するConstrained Video Generationを紹介する。 3つのビデオ生成バックボーンの中で、VIS-Groundは最も高い総合スコアを獲得し、バックボーン毎のベースラインよりも平均10.3ポイント向上した。 詳細な分析は、物語と知識の基盤をまたいだ成果をさらに示し、依存関係抽出やビデオレンダリングにおける忠実な実現において、残る課題を明らかにしている。

関連論文リスト

• ContextMaster: Interactive Multi-Shot Video Creation via Fixed-Budget Sparse Context Routing [42.25675968821303]
  ビデオモデルは、単一のモデル内で生成、参照条件付け、編集をサポートするようになった。 我々はこの設定をインタラクティブなマルチショットビデオ作成(IMVC)として定式化する。 これらの操作にロールを意識したコンテキスト表現を備えた統合モデルであるContextMasterを紹介します。
  論文  参考訳（メタデータ） (2026-08-05T15:27:26Z)
• BindWeave: Subject-Consistent Video Generation via Cross-Modal Integration [56.98981194478512]
  本稿では,幅広いテーマ・ツー・ビデオシナリオを扱う統一フレームワークを提案する。 MLLM-DiTフレームワークは,事前訓練されたマルチモーダルな大規模言語モデルで,基底エンティティに対して深い相互モーダル推論を行う。 OpenS2Vベンチマークの実験により、本手法は、生成ビデオにおける主観的整合性、自然性、テキスト関連性において優れた性能を実現することを示した。
  論文  参考訳（メタデータ） (2025-10-01T02:41:11Z)
• InfLVG: Reinforce Inference-Time Consistent Long Video Generation with GRPO [73.33751812982342]
  InfLVGは、追加のロングフォームビデオデータを必要としないコヒーレントなロングビデオ生成を可能にする推論時フレームワークである。 InfLVGはビデオ長を最大9$times$まで拡張でき、シーン間の一貫性とセマンティック忠実性を実現することができる。
  論文  参考訳（メタデータ） (2025-05-23T07:33:25Z)
• Phantom: Subject-consistent video generation via cross-modal alignment [16.777805813950486]
  シングルオブジェクトとマルチオブジェクトの両方の参照に統一されたビデオ生成フレームワークを提案する。 提案手法は,画像コンテンツのリークや複数オブジェクトの混同といった問題に対処しながら,高忠実度映像生成を実現する。
  論文  参考訳（メタデータ） (2025-02-16T11:02:50Z)
• VideoRAG: Retrieval-Augmented Generation over Video Corpus [57.68536380621672]
  VideoRAGは、クエリによる関連性に基づいて、動的にビデオを取得するフレームワークである。 VideoRAGは近年のLVLM(Large Video Language Models)を利用している。 我々は,ビデオRAGの有効性を実験的に検証し,関連するベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-10T11:17:15Z)
• Swap Attention in Spatiotemporal Diffusions for Text-to-Video Generation [55.36617538438858]
  本研究では,空間的知覚と時間的知覚の相互作用を強化する新しいアプローチを提案する。 我々はHD-VG-130Mという大規模かつオープンソースのビデオデータセットをキュレートする。
  論文  参考訳（メタデータ） (2023-05-18T11:06:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。