論文の概要: FoleyDirector: Fine-Grained Temporal Steering for Video-to-Audio Generation via Structured Scripts
- arxiv url: http://arxiv.org/abs/2603.19857v1
- Date: Fri, 20 Mar 2026 11:19:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-23 19:48:39.115065
- Title: FoleyDirector: Fine-Grained Temporal Steering for Video-to-Audio Generation via Structured Scripts
- Title（参考訳）: FoleyDirector:構造化スクリプトによるビデオからオーディオ生成のための微粒化テンポラルステアリング
- Abstract要約: FoleyDirectorは、DiTベースのV2A生成において正確な時間的ガイダンスを可能にするフレームワークである。
ベースモデルのオーディオ品質を保ち、V2A生成と時間的に制御された合成をシームレスに切り替えることができる。
- 参考スコア（独自算出の注目度）: 33.4228845956243
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent Video-to-Audio (V2A) methods have achieved remarkable progress, enabling the synthesis of realistic, high-quality audio. However, they struggle with fine-grained temporal control in multi-event scenarios or when visual cues are insufficient, such as small regions, off-screen sounds, or occluded or partially visible objects. In this paper, we propose FoleyDirector, a framework that, for the first time, enables precise temporal guidance in DiT-based V2A generation while preserving the base model's audio quality and allowing seamless switching between V2A generation and temporally controlled synthesis. FoleyDirector introduces Structured Temporal Scripts (STS), a set of captions corresponding to short temporal segments, to provide richer temporal information. These features are integrated via the Script-Guided Temporal Fusion Module, which employs Temporal Script Attention to fuse STS features coherently. To handle complex multi-event scenarios, we further propose Bi-Frame Sound Synthesis, enabling parallel in-frame and out-of-frame audio generation and improving controllability. To support training and evaluation, we construct the DirectorSound dataset and introduce VGGSoundDirector and DirectorBench. Experiments demonstrate that FoleyDirector substantially enhances temporal controllability while maintaining high audio fidelity, empowering users to act as Foley directors and advancing V2A toward more expressive and controllable generation.
- Abstract（参考訳）: 近年のV2A法は目覚ましい進歩を遂げ、現実的な高品質なオーディオの合成を可能にしている。
しかし、マルチイベントシナリオや、小さな領域、オフスクリーンサウンド、あるいは隠蔽された、あるいは部分的に見える物体などの視覚的手がかりが不十分な場合には、微妙な時間的制御に苦慮する。
本稿では,ベースモデルの音声品質を維持しつつ,V2A生成と時間的に制御された合成をシームレスに切り替えることのできるフレームワークであるFoleyDirectorを提案する。
FoleyDirectorは、短い時間セグメントに対応するキャプションのセットであるStructured Temporal Scripts (STS)を導入し、よりリッチな時間情報を提供する。
これらの機能はScript-Guided Temporal Fusion Moduleを通じて統合されている。
さらに,複雑なマルチイベントシナリオを扱うために,フレーム内とフレーム外を並列に生成し,制御性を向上させるBiフレーム音声合成を提案する。
トレーニングと評価を支援するため, DirectorSound データセットを構築し,VGGSoundDirector と DirectorBench を導入する。
実験により、FoleyDirectorは高音質を維持しながら時間的制御性を著しく向上し、ユーザーがFoleyディレクターとして機能し、V2Aをより表現的で制御しやすい世代に進化させることが示されている。
関連論文リスト
- BackgroundMellow: A Multi-Modal Cohesive Framework for Narrative-Driven Rich Cinematic Soundscape Generation [1.8763872698583384]
我々は、ストーリー・ツー・オーディオ生成を精密なオーケストレーションと信号処理の問題として扱うフレームワーク、BacksideMellowを提案する。
このフレームワークは、テキストを精密で多層的なオーディオキューに分解するマスター・スペシャリストのエージェント・アーキテクチャによって、根本から実現されている。
我々のパイプラインは、環境合成のためのTango2潜伏拡散モデルと、プロのサウンドトラックからマイニングされた新しいシネマティックBGMレトリバーの上に構築されている。
論文 参考訳（メタデータ） (2026-07-13T10:28:15Z) - MAVIN: Multi-Shot Audio-Visual Generation with Narrative Control [66.04301887685004]
既存の手法は、時間的ミスアライメント、制限された制御性、不完全なスクリプティングに悩まされている。
我々は、カスタマイズされた物語制御によるマルチショット映像生成のための最初のフレームワークであるMAVINを提案する。
MAVINは最先端のパフォーマンスを実現し、生成モデルをプロの映画製作に組み込む新たな道を開く。
論文 参考訳（メタデータ） (2026-06-28T16:01:04Z) - FoleyGenEx: Unified Video-to-Audio Generation with Multi-Modal Control, Temporal Alignment, and Semantic Precision [22.5140828601393]
FoleyGenExは、マルチモーダル制御、フレームレベルの時間的アライメント、きめ細かいセマンティクスを統合する統合ビデオオーディオ(VTA)フレームワークである。
FoleyGenExは、オーディオ制御されたVTAとFoley拡張のための条件付きインジェクション機構、マルチモーダルな動的マスキング戦略、アドバーブベースのデータ拡張アルゴリズムの3つを通じて、このギャップを埋めている。
論文 参考訳（メタデータ） (2026-06-12T02:51:21Z) - OmniScript: Towards Audio-Visual Script Generation for Long-Form Cinematic Video [59.391671069156274]
本稿では,階層的なシーン・バイ・シーンのスクリプトを生成することを目的とした,新しいV2Sタスクを提案する。
長文の物語理解に適した8Bパラメータ omni-modal (audio-visual) 言語モデルであるOmniScriptを提案する。
論文 参考訳（メタデータ） (2026-04-13T07:19:27Z) - Foley Control: Aligning a Frozen Latent Text-to-Audio Model to Video [39.74394488889939]
Foley Controlは、ビデオ誘導型のFoleyに対する軽量なアプローチである。
事前訓練された単一モダリティモデルを凍結させ、それらの間の小さなクロスアテンションブリッジのみを学習する。
私たちはVideo-to-Foleyにフォーカスしていますが、同じブリッジデザインは、他のオーディオモダリティにも拡張できます。
論文 参考訳（メタデータ） (2025-10-24T15:49:54Z) - AudioStory: Generating Long-Form Narrative Audio with Large Language Models [87.23256929520743]
AudioStoryは、大きな言語モデルとテキストからオーディオシステムを統合して、構造化された長文の音声物語を生成するフレームワークである。
LLMを用いて複雑な物語クエリを時間順に並べたサブタスクに分解する。
広汎な実験により,単一音声生成と物語音声生成の両方においてAudioStoryの優位性が,指示追従能力と音声忠実性の両方において,TTAベースラインを上回った。
論文 参考訳（メタデータ） (2025-08-27T17:55:38Z) - Exploiting Temporal Audio-Visual Correlation Embedding for Audio-Driven One-Shot Talking Head Animation [62.218932509432314]
従来,隣接する音声クリップの時間的関係は,対応する映像フレームの時間的関係と強く相関している。
音声と視覚の相関関係を学習し,その相関関係を統合し,特徴表現の強化と最終生成の正規化を支援する。
論文 参考訳（メタデータ） (2025-04-08T07:23:28Z) - ReelWave: Multi-Agentic Movie Sound Generation through Multimodal LLM Conversation [72.22243595269389]
本稿では,自律型サウンドディレクタによって教師される音声生成のためのマルチエージェントフレームワークを提案する。
Foley ArtistはComposerとVoice Actorのエージェントと共同で働き、共同でオフスクリーンサウンドを自動生成して全体の生産を補完する。
本フレームワークは,映画から抽出した映像クリップに調和した,リッチで関連性の高い音声コンテンツを生成できる。
論文 参考訳（メタデータ） (2025-03-10T11:57:55Z) - FolAI: Synchronized Foley Sound Generation with Semantic and Temporal Alignment [11.796771978828403]
ビデオから時間的コヒーレントかつ意味論的に制御可能な音響効果を生成する2段階生成フレームワークであるFolAIを紹介する。
その結果、我々のモデルは、時間的に視覚運動に整合し、意味的にユーザ意図と整合し、知覚的にリアルな音声を確実に生成することがわかった。
これらの知見は、FolAIがプロと対話的な環境でスケーラブルで高品質なフォーリー音声合成のための、制御可能でモジュラーなソリューションとしての可能性を強調している。
論文 参考訳（メタデータ） (2024-12-19T16:37:19Z) - Audio-Agent: Leveraging LLMs For Audio Generation, Editing and Composition [72.22243595269389]
本稿では,テキストやビデオの入力に基づく音声生成,編集,合成のためのフレームワークであるAudio-Agentを紹介する。
提案手法では,事前学習したTTA拡散ネットワークを音声生成エージェントとして利用し,GPT-4でタンデムで動作させる。
VTA(Video-to-audio)タスクでは、既存のほとんどのメソッドは、生成されたオーディオとビデオイベントを同期させるタイムスタンプ検出器のトレーニングを必要とする。
論文 参考訳（メタデータ） (2024-10-04T11:40:53Z) - Video-Foley: Two-Stage Video-To-Sound Generation via Temporal Event Condition For Foley Sound [19.694770666874827]
音声合成はマルチメディア生産に不可欠であり、音声とビデオの同期によってユーザエクスペリエンスを向上させる。
ビデオから音声生成によるこの労働集約プロセスの自動化に関する最近の研究は、重大な課題に直面している。
本稿では,Root Mean Square (RMS) を用いた音声合成システムであるVideo-Foleyを提案する。
論文 参考訳（メタデータ） (2024-08-21T18:06:15Z) - FoleyCrafter: Bring Silent Videos to Life with Lifelike and Synchronized Sounds [14.636030346325578]
我々は,ビデオと同期する高品質な音響効果の自動生成であるNeural Foleyについて検討し,没入型音声視覚体験を実現する。
本稿では,高品質な音声生成を実現するために,事前学習されたテキスト・音声モデルを活用する新しいフレームワークであるFoleyCrafterを提案する。
FoleyCrafterの特筆すべき利点は、テキストプロンプトとの互換性である。
論文 参考訳（メタデータ） (2024-07-01T17:35:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。