論文の概要: ReelWave: A Multi-Agent Framework Toward Professional Movie Sound Generation
- arxiv url: http://arxiv.org/abs/2503.07217v1
- Date: Mon, 10 Mar 2025 11:57:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-11 20:09:44.874434
- Title: ReelWave: A Multi-Agent Framework Toward Professional Movie Sound Generation
- Title（参考訳）: ReelWave: プロフェッショナルな映画サウンド生成に向けたマルチエージェントフレームワーク
- Authors: Zixuan Wang, Chi-Keung Tang, Yu-Wing Tai,
- Abstract要約: 映画制作は、複数のシーンを通してよりリッチなコンテキストを提供する、生成的オーディオにとって重要な応用である。
本稿では,プロの映画制作プロセスに触発された音声生成のためのマルチエージェントフレームワークを提案する。
本フレームワークは,映画から抽出したビデオクリップから,よりリッチな音声生成のコンテキストを捉えることができる。
- 参考スコア（独自算出の注目度）: 72.22243595269389
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Film production is an important application for generative audio, where richer context is provided through multiple scenes. In ReelWave, we propose a multi-agent framework for audio generation inspired by the professional movie production process. We first capture semantic and temporal synchronized "on-screen" sound by training a prediction model that predicts three interpretable time-varying audio control signals comprising loudness, pitch, and timbre. These three parameters are subsequently specified as conditions by a cross-attention module. Then, our framework infers "off-screen" sound to complement the generation through cooperative interaction between communicative agents. Each agent takes up specific roles similar to the movie production team and is supervised by an agent called the director. Besides, we investigate when the conditional video consists of multiple scenes, a case frequently seen in videos extracted from movies of considerable length. Consequently, our framework can capture a richer context of audio generation conditioned on video clips extracted from movies.
- Abstract（参考訳）: 映画制作は、複数のシーンを通してよりリッチなコンテキストを提供する、生成的オーディオにとって重要な応用である。
ReelWaveでは,プロの映画制作プロセスにインスパイアされた音声生成のためのマルチエージェントフレームワークを提案する。
まず,大音量,ピッチ,音色からなる3つの解釈可能な時間変化音声制御信号を予測する予測モデルを訓練することにより,意味的および時間的同期音の「オンスクリーン」をキャプチャする。
これら3つのパラメータはその後、クロスアテンションモジュールによって条件として指定される。
そこで,本フレームワークは,コミュニケーションエージェント間の協調的相互作用を通じて生成を補完する「オフスクリーン」音を推定する。
各エージェントは、映画制作チームに似た特定の役割を担い、ディレクターと呼ばれるエージェントによって監督される。
また,条件付きビデオが複数シーンで構成されている場合についても検討する。
これにより、映画から抽出したビデオクリップに条件付けされたよりリッチな音声生成のコンテキストを捉えることができる。
関連論文リスト
- Exploiting Temporal Audio-Visual Correlation Embedding for Audio-Driven One-Shot Talking Head Animation [62.218932509432314]
従来,隣接する音声クリップの時間的関係は,対応する映像フレームの時間的関係と強く相関している。
音声と視覚の相関関係を学習し,その相関関係を統合し,特徴表現の強化と最終生成の正規化を支援する。
論文 参考訳（メタデータ） (2025-04-08T07:23:28Z) - Long-Video Audio Synthesis with Multi-Agent Collaboration [20.332328741375363]
LVAS-Agentは、協調的な役割を通じてプロのダビングをエミュレートする新しいフレームワークである。
提案手法は,シーンセグメンテーション,スクリプト生成,音響設計,音声合成の4段階に分割する。
中心的なイノベーションには、シーン/スクリプトの洗練のための議論の補正機構や、時間-意味的アライメントのための世代-検索ループが含まれる。
論文 参考訳（メタデータ） (2025-03-13T07:58:23Z) - Automated Movie Generation via Multi-Agent CoT Planning [20.920129008402718]
MovieAgentは、CoT(Multi-agent Chain of Thought)計画による自動映画生成である。
コヒーレントな物語を持つマルチシーンでマルチショットのロングフォームビデオを生成し、文字の一貫性、同期字幕、安定したオーディオを保証します。
複数のLLMエージェントを使用して、ディレクター、脚本家、ストーリーボードアーティスト、ロケーションマネージャの役割をシミュレートすることで、MovieAgentはプロダクションパイプラインを合理化する。
論文 参考訳（メタデータ） (2025-03-10T13:33:27Z) - Audio-Agent: Leveraging LLMs For Audio Generation, Editing and Composition [72.22243595269389]
本稿では,テキストやビデオの入力に基づく音声生成,編集,合成のためのフレームワークであるAudio-Agentを紹介する。
提案手法では,事前学習したTTA拡散ネットワークを音声生成エージェントとして利用し,GPT-4でタンデムで動作させる。
VTA(Video-to-audio)タスクでは、既存のほとんどのメソッドは、生成されたオーディオとビデオイベントを同期させるタイムスタンプ検出器のトレーニングを必要とする。
論文 参考訳（メタデータ） (2024-10-04T11:40:53Z) - Synthesizing Audio from Silent Video using Sequence to Sequence Modeling [0.0]
本稿では,シーケンス・ツー・シーケンス・モデルを用いて,ビデオから音声を生成する新しい手法を提案する。
本手法では3次元ベクトル量子変分オートエンコーダ(VQ-VAE)を用いて映像の空間的・時間的構造を捉える。
本モデルは,CCTV映像解析,サイレント映画復元,映像生成モデルなどの応用性の向上を目的としている。
論文 参考訳（メタデータ） (2024-04-25T22:19:42Z) - Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion
Latent Aligners [69.70590867769408]
ビデオとオーディオのコンテンツ制作は、映画産業とプロのユーザーにとって重要な技術である。
既存の拡散に基づく手法は、ビデオと音声を別々に生成する。
本研究では,このギャップを埋めることを目的として,クロス・ビジュアル・オーディオとジョイント・ヴィジュアル・オーディオ生成のためのフレームワークを慎重に設計した。
論文 参考訳（メタデータ） (2024-02-27T17:57:04Z) - WavJourney: Compositional Audio Creation with Large Language Models [38.39551216587242]
We present WavJourney, a novel framework that leverages Large Language Models to connect various audio model for audio creation。
WavJourneyを使えば、ユーザーはテキストによる説明だけで様々なオーディオ要素でストーリーテリングオーディオコンテンツを作成できる。
We show that WavJourney are capable to synthesize real audio aligned with textual-description semantic, spatial and temporal conditions。
論文 参考訳（メタデータ） (2023-07-26T17:54:04Z) - MovieFactory: Automatic Movie Creation from Text using Large Generative
Models for Language and Images [92.13079696503803]
映画制作のためのフレームワークであるMovieFactory(3072$times$1280)、映画スタイル(マルチシーン)、マルチモーダル(サウンド)映画について紹介する。
本手法は,簡単なテキスト入力を用いて,スムーズなトランジションでキャプティベーション映画を制作することを可能にする。
論文 参考訳（メタデータ） (2023-06-12T17:31:23Z) - AudioLM: a Language Modeling Approach to Audio Generation [59.19364975706805]
本稿では,長期的整合性を有する高品質オーディオ生成フレームワークであるAudioLMを紹介する。
本稿では,既存の音声トークンが,再建品質と長期構造との間に異なるトレードオフをもたらすことを示す。
我々は,コヒーレントピアノ音楽の継続を生成することによって,我々のアプローチが音声を超えてどのように拡張されるかを実証する。
論文 参考訳（メタデータ） (2022-09-07T13:40:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。