論文の概要: SepGen: Multi-Stem Audio-Video Separation and Generation in a Single Model

• arxiv url: http://arxiv.org/abs/2610.11361v1
• Date: Thu, 08 Oct 2026 06:51:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.846619
• Title: SepGen: Multi-Stem Audio-Video Separation and Generation in a Single Model
• Title（参考訳）: SepGen:シングルモデルによるマルチステムオーディオビデオの分離と生成
• Abstract要約: 4Dオーディオ・ヴィジュアルシーンは、ビデオと、その描写するダイナミックな幾何学と、それを映し出す音源で構成されている。 このようなシーンを新しい視点からレンダリングするには、すべてのソースを個々の波形として利用する必要がある。 本稿では,事前に訓練したオーディオビデオ生成装置を拡張して,ビデオ,混合サウンドトラック,および1つの同時サンプリング実行時の1つの波形を出力するSepGenを提案する。
• 参考スコア（独自算出の注目度）: 78.12651379541563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A 4D audio-visual scene comprises a video, the dynamic geometry it depicts, and the sound sources that populate it, each with its own position and trajectory. Rendering such a scene from a novel viewpoint requires that every source be available as an individual waveform, so that it can be localized in the scene and propagated to the observer before the signals are mixed. Joint audio-video generators can synthesize the video and its soundtrack, but the soundtrack is emitted as a single audio-mix in which the sources are not individually accessible. We present SepGen, which extends a pretrained audio-video generator to emit the video, the mixed soundtrack, and one waveform per captioned source in one joint sampling run. SepGen supports two complementary modes: generation and separation. In generation mode, each source caption specifies what its stem contains. A two-speaker dialogue, for example, comes out as one stem per speaker in the original turn order. In separation mode, the input audio-mix remains clean while the captions specify what to extract, so the model can decompose a recording from a free-text description. We evaluate generation on scenes synthesized from text, and separation on scenes rendered by other generators and on real recordings of speech, music, and sound effects. Given an audio-mix and captions that carry the spoken lines, SepGen outperforms language-conditioned separators, most clearly on speech, and it keeps the lead when the lines are removed from the captions. Code, checkpoints, and datasets are available at https://sepgen.github.io/
• Abstract（参考訳）: 4Dオーディオ・ヴィジュアルシーンは、ビデオ、その描写するダイナミックな幾何学、そしてそれを表す音源で構成され、それぞれが独自の位置と軌跡を持つ。 このようなシーンを新しい視点からレンダリングするには、すべてのソースが個々の波形として利用できなければならないため、シーン内でローカライズされ、信号が混在する前にオブザーバに伝播することができる。 ジョイントオーディオビデオジェネレータは、ビデオとそのサウンドトラックを合成することができるが、サウンドトラックは、ソースが個別にアクセスできない単一のオーディオミックスとして出力される。 本稿では,事前に訓練したオーディオビデオ生成装置を拡張して,ビデオ,混合サウンドトラック,および1つの同時サンプリング実行時の1つの波形を出力するSepGenを提案する。 SepGenは、生成と分離の2つの補完モードをサポートする。 生成モードでは、各ソースキャプションはその幹が持つものを指定する。 例えば、2つの話者対話は、元の順番で話者ごとに1つの幹として出てくる。 分離モードでは、入力されたオーディオミックスはクリーンであり、キャプションは何を抽出するかを指定する。 テキストから合成されたシーンの生成と、他のジェネレータによるシーンの分離、および音声、音楽、音響効果の実際の記録について評価する。 音声のミックスとキャプションによって、SepGenは言語条件のセパレータよりも優れている。 コード、チェックポイント、データセットはhttps://sepgen.github.io/で確認できる。

関連論文リスト

• Soundwich: Video Generation with Layered and Controllable Audio [51.034017422638776]
  Soundwichは、凍結したジョイントオーディオビデオフローマッチングモデルを複数のオーディオステムのジェネレータに変換する、トレーニング不要のフレームワークである。 サウンドウィッチは、その時間的活動を明確に制御して、別々のオーディオステムを生成する。 実験と人的評価は、柔軟なソースレベルの編集を可能にしながら、時間的制御、ソース分離、自然性を改善したことを示している。
  論文  参考訳（メタデータ） (2026-09-30T20:35:29Z)
• Ovi: Twin Backbone Cross-Modal Fusion for Audio-Video Generation [5.304004483404346]
  Oviは、2つのモードを単一の生成プロセスとしてモデル化するオーディオビデオ生成の統一パラダイムである。 何十万時間もの生のオーディオをゼロから学習し、現実的な音響効果を生み出すことを学ぶ。 本モデルでは,自然音声による映像ストーリーテリングと,映像レベルの映像クリップを制作し,コンテキストマッチングの精度の高い音響効果を実現する。
  論文  参考訳（メタデータ） (2025-09-30T21:03:50Z)
• Seeing Voices: Generating A-Roll Video from Audio with Mirage [12.16029287095035]
  ビデオ生成への現在のアプローチは、音声を無視して汎用的だがサイレントな画像シーケンス生成に焦点を当てている。 音声入力が与えられたスクラッチからリアルで表現力のある出力画像を生成するのに優れるオーディオ・ビデオ基盤モデルであるMirageを紹介する。
  論文  参考訳（メタデータ） (2025-06-09T22:56:02Z)
• Large-scale unsupervised audio pre-training for video-to-speech synthesis [64.86087257004883]
  音声合成は、話者の無声映像から音声信号を再構成する作業である。 本稿では,24kHzで3,500時間以上のオーディオデータをエンコーダ・デコーダモデルでトレーニングすることを提案する。 次に、事前学習したデコーダを用いて、音声合成タスクの音声デコーダを初期化する。
  論文  参考訳（メタデータ） (2023-06-27T13:31:33Z)
• Everybody's Talkin': Let Me Talk as You Want [134.65914135774605]
  本稿では,写真リアルな映像を合成するために,音声のシーケンスを入力とし,対象の肖像画を編集する手法を提案する。 任意のソースオーディオを任意のビデオ出力に変換することのできる、個人固有のレンダリングネットワークを前提としない。
  論文  参考訳（メタデータ） (2020-01-15T09:54:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。