論文の概要: Spatial Audio Generation and Editing with Executable Plans and Self-Distilling Transfusion
- arxiv url: http://arxiv.org/abs/2610.34415v1
- Date: Sun, 25 Oct 2026 16:13:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.611182
- Title: Spatial Audio Generation and Editing with Executable Plans and Self-Distilling Transfusion
- Title（参考訳）: 実行可能計画と自己拡散による空間オーディオ生成と編集
- Abstract要約: AMBITは、ネイティブなファーストオーダーアンビソンクスの生成と編集のための統一されたフレームワークである。
編集にあたっては、何を変更して保持するかを指定するが、参照オーディオはより音響的な詳細を提供する。
- 参考スコア（独自算出の注目度）: 44.63665203436596
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Spatial audio authoring coordinates source decisions with soundfield synthesis. For editing, plans specify what to change and retain, while reference audio supplies further acoustic detail. We present AMBIT, a unified framework for native First-Order Ambisonics (FOA) generation and editing with three connected contributions. First, a shared Transfusion backbone couples autoregressive planning with rectified-flow rendering through executable ScenePlans that specify source content, activity, and 3D trajectories. For editing, the plan describes the full target scene, including retained sources; contrastive features ground the requested change, while full reference latents supply residual acoustic detail for preservation. Second, an FOA-aware continuous VAE combines shared-decoder omnidirectional recovery, asymmetric grouped KL, and spatial covariance matching to preserve content and inter-channel structure. Third, joint Transfusion on-policy self-distillation (OPSD) refines planning on student-generated prefixes and rendering at sampling states reached under student plans, with target-conditioned teachers supervising both modes of the shared student. Evaluations across speech, music, and sound show improved generation content and spatial quality, acoustic fidelity during instruction-guided editing, and unedited-source preservation over the compared baselines. Project page: https://wjm-george.github.io/AMBIT/
- Abstract（参考訳）: 空間オーディオオーサリングは音源決定と音場合成を協調する。
編集にあたっては、何を変更して保持するかを指定するが、参照オーディオはより音響的な詳細を提供する。
AMBITは、3つのコネクテッドコントリビューションによるネイティブなファーストオーダーアンビニクス(FOA)の生成と編集のための統合フレームワークである。
まず、共有Transfusionバックボーンは、ソースの内容、アクティビティ、および3Dトラジェクトリを指定する実行可能なScenePlansを通じて、修正フローレンダリングを備えた自動回帰プランニングを結合する。
計画では、保存されたソースを含む完全なターゲットシーンを記述し、対照的な特徴は要求された変更を根拠にし、完全な参照ラテントは保存のために残留した音響的詳細を提供する。
第2に、FOA対応連続VAEは、共有デコーダ全方位回復、非対称群KL、空間共分散マッチングを組み合わせて、内容とチャネル間構造を保存する。
第3に, 学生が生成した接頭辞の表示と, 学生プランで到達したサンプリング状態のレンダリングを, 学生の両モードを監督する目標条件の教師により, OPSD(Transfusion on-policy Self-distillation)が改良された。
音声, 音楽, 音声による評価は, 生成内容, 空間的品質, 指示誘導編集時の音響的忠実度, 比較ベースライン上での未編集ソース保存を改善した。
プロジェクトページ:https://wjm-george.github.io/AMBIT/
関連論文リスト
- UniAVC: Unified Audio-Video Creation via Progressive Training and Asymmetric Scheduling [53.81454482735189]
統一されたオーディオビデオ作成には、テキスト条件のジョイント合成、双方向のクロスモーダル生成、および両方のモダリティをまたいだ命令誘導編集が可能な単一のモデルが必要である。
既存の方法はペアコーパスに大きく依存しており、共同生成には乏しく、編集には稀である。
提案するUniAVCは、まず、各ブランチを非モーダルデータセット上にトレーニングし、完全な生成および編集能力を与え、その後、相互モーダル対応を利用するためにペア化されたデータに献身する。
論文 参考訳（メタデータ） (2026-10-17T17:46:17Z) - Vorch-Omni: Multi-Task Orchestration of Sight and Sound [51.39284238118125]
Vorch-Omniは任意の条件から任意言語への定式化に基づく音声・視覚合成のための統一されたフレームワークである。
ビデオや音声の信号を入力や生成ターゲットの条件付けとして柔軟に扱う。
テキスト・トゥ・ビデオ、テキスト・トゥ・オーディオ・ビデオ、イメージ・アンド・レファレンス・コンディショナード・ジェネレーション、時間拡張、音声駆動生成、ビデオ変換、オーディオ・ビジュアル編集を含む10以上のタスクをサポートする。
論文 参考訳（メタデータ） (2026-08-06T09:38:30Z) - Multi Codec Discrete Diffusion Model for Text Guided Speech Inpainting and Editing [10.49533454106105]
音声の塗装は欠落したセグメントを復元する一方、音声編集は編集されたテキストに従って音声コンテンツを置換する。
SIEDDは、階層的トークン上でのテキスト誘導音声の描画と編集のための離散拡散フレームワークである。
RealEdit のベンチマークでは,SIEDD が評価手法の中で最高の音声編集性能を達成している。
論文 参考訳（メタデータ） (2026-08-05T18:57:34Z) - Baton: Explicit Semantic Blueprints for Joint Video-Audio Generation [113.24577778437295]
Batonは、共同ビデオオーディオ生成に明示的なセマンティックプランニングを導入するフレームワークである。
我々の重要な洞察は、粗いテキストガイダンスを意味的にリッチでモダリティを意識したトークンで補完することで、細かなセマンティックディテールを同時に復元できるということです。
ベンチマークの実験は、バトンの有効性を質的にも定量的にも示している。
論文 参考訳（メタデータ） (2026-05-24T17:55:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。