論文の概要: Structured Stateful Relational Scripts with a High-Quality Dataset for Multi-Shot Audio-Visual Video Generation

• arxiv url: http://arxiv.org/abs/2610.15512v1
• Date: Sun, 11 Oct 2026 10:25:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 18:15:25.552546
• Title: Structured Stateful Relational Scripts with a High-Quality Dataset for Multi-Shot Audio-Visual Video Generation
• Title（参考訳）: マルチショット音声映像生成のための高品質データセットを用いた構造化ステートフルリレーショナルスクリプト
• Abstract要約: コヒーレントなマルチショット映像生成には一貫したアイデンティティが必要であり、進化する状態を描写し、ショット境界を越えて音を調整する。 我々は、永続的な実体と音声のアイデンティティをショット固有の視覚的および聴覚的状態から分離する表現であるStructured State Scripts (SSRS)を提案する。 SSRSアノテーションと組み合わせたマルチショットビデオの大規模データセットであるMSAV-Script-100Kを紹介する。
• 参考スコア（独自算出の注目度）: 44.38361162777759
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coherent multi-shot audio-visual video generation requires maintaining consistent identities while depicting evolving states and coordinating sounds across shot boundaries. Although dense captions describe individual shots in detail, they rarely specify which entities persist, how their states change, or which entities and actions produce sounds. To address this limitation, we propose Structured Stateful Relational Scripts (SSRS), a textual supervision representation that separates persistent entity and voice identities from shot-specific visual and auditory states. SSRS explicitly encodes sound-source bindings and temporal relations, while a global audio-visual event sequence connects local actions and sounds, including events that continue across shot boundaries. We further introduce MSAV-Script-100K, a large-scale dataset of curated multi-shot audio-visual videos paired with detailed SSRS annotations, enabling models to learn identity persistence, state transitions, and event continuity from structured supervision. Experiments demonstrate improvements in cross-shot consistency, adherence to specified state changes, and audio-visual alignment, highlighting the effectiveness of our SSRS and MSAV-Script-100K for coherent multi-shot audio-visual generation. Our proposed dataset is available at \href{https://huggingface.co/datasets/shenlehan/MSAV-Script-100K}{MSAV-Script-100K}.
• Abstract（参考訳）: コヒーレントなマルチショット映像生成では、一貫したアイデンティティを維持しながら、進化する状態を描写し、ショット境界を越えて音を調整する必要がある。 密集したキャプションは個々のショットを詳細に記述するが、どのエンティティが持続するか、どのように状態が変化するか、どのエンティティやアクションが音を発生させるかを特定することは滅多にない。 この制限に対処するために、永続的な実体と音声のアイデンティティをショット固有の視覚状態と聴覚状態とを分離するテキスト監督表現であるStructured Stateful Relational Scripts (SSRS)を提案する。 SSRSは、サウンドソースバインディングと時間的関係を明示的にエンコードし、グローバルオーディオ視覚イベントシーケンスは、ショット境界を越えて続くイベントを含む、ローカルアクションとサウンドを接続する。 さらに,MSAV-Script-100Kという,詳細なSSRSアノテーションと組み合わせたマルチショットオーディオ映像の大規模データセットを導入し,モデルが構造化された監視からアイデンティティの永続化,状態遷移,イベント継続性を学習できるようにする。 実験では、クロスショット整合性、特定の状態変化への付着性、オーディオ-視覚アライメントの改善が示され、コヒーレントなマルチショット音声-視覚生成のためのSSRSとMSAV-Script-100Kの有効性が強調された。 提案データセットは \href{https://huggingface.co/datasets/shenlehan/MSAV-Script-100K}{MSAV-Script-100K} で利用可能である。

関連論文リスト

• The Missing Temporal Link: Temporal Context Routing for Script-Driven Audio-Video Generation [25.85634818515491]
  テンポラルコンテキストルーティングは、スクリプトのタイミングをビデオとオーディオ生成の共有時間軸にマッピングし、各プロンプトのガイダンスを両方のモードで対応する位置にルーティングする。 TCRは、ベースラインに匹敵する視覚的品質とオーディオ-視覚同期を維持しながら、改善を実現している。
  論文  参考訳（メタデータ） (2026-09-02T09:39:50Z)
• Vorch-Omni: Multi-Task Orchestration of Sight and Sound [51.39284238118125]
  Vorch-Omniは任意の条件から任意言語への定式化に基づく音声・視覚合成のための統一されたフレームワークである。 ビデオや音声の信号を入力や生成ターゲットの条件付けとして柔軟に扱う。 テキスト・トゥ・ビデオ、テキスト・トゥ・オーディオ・ビデオ、イメージ・アンド・レファレンス・コンディショナード・ジェネレーション、時間拡張、音声駆動生成、ビデオ変換、オーディオ・ビジュアル編集を含む10以上のタスクをサポートする。
  論文  参考訳（メタデータ） (2026-08-06T09:38:30Z)
• Hear to See: Discerning Stateful Listening for Audio-Visual Instance Segmentation [58.79612575170589]
  既存の手法では、重なり合う音響イベントと視覚的インスタンスをマッチングし、音声視覚力学を扱うのに苦労している。 本稿では,2つのメカニズムを用いて,これらの課題に対処するH2Sを提案する。 論文が受け入れられたら、コードはオープンソースになる。
  論文  参考訳（メタデータ） (2026-08-04T07:35:57Z)
• MAVIN: Multi-Shot Audio-Visual Generation with Narrative Control [66.04301887685004]
  既存の手法は、時間的ミスアライメント、制限された制御性、不完全なスクリプティングに悩まされている。 我々は、カスタマイズされた物語制御によるマルチショット映像生成のための最初のフレームワークであるMAVINを提案する。 MAVINは最先端のパフォーマンスを実現し、生成モデルをプロの映画製作に組み込む新たな道を開く。
  論文  参考訳（メタデータ） (2026-06-28T16:01:04Z)
• OmniVideo-100K: A Dataset for Audio-Visual Reasoning through Structured Scripts and Evidence Chains [50.186434778589415]
  音声-視覚的質問回答(QA)のための現在の自動パイプラインは、一般的にビデオキャプション-QA'のパラダイムを採用している。 textbfEntity-Anchored Video Scripting' と textbfClue-Guided QA Generation' という2つのメカニズムを備えた自動データエンジンを提案する。
  論文  参考訳（メタデータ） (2026-06-12T17:59:55Z)
• LongAV-Compass: Towards Unified Evaluation of Minute-Scale Audio-Visual Generation Across T2AV, I2AV, and V2AV [39.241237759347825]
  LongAV-は、マイクロ・オーディオ・ビジュアル・ジェネレーションのための体系的なベンチマークである。 テキスト・トゥ・オーディオ・ビデオ(T2AV)、画像・トゥ・オーディオ・ビデオ(I2AV)、ビデオ・トゥ・オーディオ・ビデオ(V2AV)にまたがる284のテストケースで構成されている。 このフレームワークは、音質、断面積の整合性、大域的な物語のコヒーレンス、セマンティックアライメント、オーディオ視覚アライメントをカバーする20以上のきめ細かい寸法を評価する。
  論文  参考訳（メタデータ） (2026-05-25T18:12:09Z)
• DegDiT: Controllable Audio Generation with Dynamic Event Graph Guided Diffusion Transformer [43.48616092324736]
  制御可能な音声生成のための動的イベントグラフ誘導拡散トランスフォーマフレームワークであるDegDiTを提案する。 DegDiTは、記述中のイベントを構造化された動的グラフとしてエンコードする。 AudioCondition、DESED、AudioTimeデータセットの実験は、DegDiTが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-08-19T12:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。