論文の概要: ReelWave: A Multi-Agent Framework Toward Professional Movie Sound Generation

• arxiv url: http://arxiv.org/abs/2503.07217v1
• Date: Mon, 10 Mar 2025 11:57:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:46:00.186751
• Title: ReelWave: A Multi-Agent Framework Toward Professional Movie Sound Generation
• Title（参考訳）: ReelWave: プロフェッショナルな映画サウンド生成に向けたマルチエージェントフレームワーク
• Authors: Zixuan Wang, Chi-Keung Tang, Yu-Wing Tai,
• Abstract要約: 映画制作は、複数のシーンを通してよりリッチなコンテキストを提供する、生成的オーディオにとって重要な応用である。 本稿では,プロの映画制作プロセスに触発された音声生成のためのマルチエージェントフレームワークを提案する。 本フレームワークは,映画から抽出したビデオクリップから,よりリッチな音声生成のコンテキストを捉えることができる。
• 参考スコア（独自算出の注目度）: 72.22243595269389
• License:
• Abstract: Film production is an important application for generative audio, where richer context is provided through multiple scenes. In ReelWave, we propose a multi-agent framework for audio generation inspired by the professional movie production process. We first capture semantic and temporal synchronized "on-screen" sound by training a prediction model that predicts three interpretable time-varying audio control signals comprising loudness, pitch, and timbre. These three parameters are subsequently specified as conditions by a cross-attention module. Then, our framework infers "off-screen" sound to complement the generation through cooperative interaction between communicative agents. Each agent takes up specific roles similar to the movie production team and is supervised by an agent called the director. Besides, we investigate when the conditional video consists of multiple scenes, a case frequently seen in videos extracted from movies of considerable length. Consequently, our framework can capture a richer context of audio generation conditioned on video clips extracted from movies.
• Abstract（参考訳）: 映画制作は、複数のシーンを通してよりリッチなコンテキストを提供する、生成的オーディオにとって重要な応用である。 ReelWaveでは,プロの映画制作プロセスにインスパイアされた音声生成のためのマルチエージェントフレームワークを提案する。 まず,大音量,ピッチ,音色からなる3つの解釈可能な時間変化音声制御信号を予測する予測モデルを訓練することにより,意味的および時間的同期音の「オンスクリーン」をキャプチャする。 これら3つのパラメータはその後、クロスアテンションモジュールによって条件として指定される。 そこで,本フレームワークは,コミュニケーションエージェント間の協調的相互作用を通じて生成を補完する「オフスクリーン」音を推定する。 各エージェントは、映画制作チームに似た特定の役割を担い、ディレクターと呼ばれるエージェントによって監督される。 また,条件付きビデオが複数シーンで構成されている場合についても検討する。 これにより、映画から抽出したビデオクリップに条件付けされたよりリッチな音声生成のコンテキストを捉えることができる。

関連論文リスト

• Audio-Agent: Leveraging LLMs For Audio Generation, Editing and Composition [72.22243595269389]
  本稿では,テキストやビデオの入力に基づく音声生成,編集,合成のためのフレームワークであるAudio-Agentを紹介する。 提案手法では,事前学習したTTA拡散ネットワークを音声生成エージェントとして利用し,GPT-4でタンデムで動作させる。 VTA(Video-to-audio)タスクでは、既存のほとんどのメソッドは、生成されたオーディオとビデオイベントを同期させるタイムスタンプ検出器のトレーニングを必要とする。
  論文  参考訳（メタデータ） (2024-10-04T11:40:53Z)
• Synthesizing Audio from Silent Video using Sequence to Sequence Modeling [0.0]
  本稿では,シーケンス・ツー・シーケンス・モデルを用いて,ビデオから音声を生成する新しい手法を提案する。 本手法では3次元ベクトル量子変分オートエンコーダ(VQ-VAE)を用いて映像の空間的・時間的構造を捉える。 本モデルは,CCTV映像解析,サイレント映画復元,映像生成モデルなどの応用性の向上を目的としている。
  論文  参考訳（メタデータ） (2024-04-25T22:19:42Z)
• Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion Latent Aligners [69.70590867769408]
  ビデオとオーディオのコンテンツ制作は、映画産業とプロのユーザーにとって重要な技術である。 既存の拡散に基づく手法は、ビデオと音声を別々に生成する。 本研究では,このギャップを埋めることを目的として,クロス・ビジュアル・オーディオとジョイント・ヴィジュアル・オーディオ生成のためのフレームワークを慎重に設計した。
  論文  参考訳（メタデータ） (2024-02-27T17:57:04Z)
• Large-scale unsupervised audio pre-training for video-to-speech synthesis [64.86087257004883]
  音声合成は、話者の無声映像から音声信号を再構成する作業である。 本稿では,24kHzで3,500時間以上のオーディオデータをエンコーダ・デコーダモデルでトレーニングすることを提案する。 次に、事前学習したデコーダを用いて、音声合成タスクの音声デコーダを初期化する。
  論文  参考訳（メタデータ） (2023-06-27T13:31:33Z)
• MovieFactory: Automatic Movie Creation from Text using Large Generative Models for Language and Images [92.13079696503803]
  映画制作のためのフレームワークであるMovieFactory(3072$times$1280)、映画スタイル(マルチシーン)、マルチモーダル(サウンド)映画について紹介する。 本手法は,簡単なテキスト入力を用いて,スムーズなトランジションでキャプティベーション映画を制作することを可能にする。
  論文  参考訳（メタデータ） (2023-06-12T17:31:23Z)
• AudioLM: a Language Modeling Approach to Audio Generation [59.19364975706805]
  本稿では,長期的整合性を有する高品質オーディオ生成フレームワークであるAudioLMを紹介する。 本稿では,既存の音声トークンが,再建品質と長期構造との間に異なるトレードオフをもたらすことを示す。 我々は,コヒーレントピアノ音楽の継続を生成することによって,我々のアプローチが音声を超えてどのように拡張されるかを実証する。
  論文  参考訳（メタデータ） (2022-09-07T13:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。