論文の概要: Edit in Sync: Unified End-to-End Audio-Visual Editing for Human-Centric Videos
- arxiv url: http://arxiv.org/abs/2610.27947v1
- Date: Tue, 20 Oct 2026 09:53:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.756353
- Title: Edit in Sync: Unified End-to-End Audio-Visual Editing for Human-Centric Videos
- Title（参考訳）: 同期編集:人間中心のビデオのための統一されたエンド・ツー・エンドオーディオ・ビジュアル編集
- Abstract要約: AVEは、オーディオとビデオの両モードで参照誘導された人物のスワップ、挿入、削除を共同で行う最初の統合エンドツーエンドフレームワークである。
AVEは、リアリズム、時間的一貫性、オーディオ視覚アライメントの編集において、モダリティ別オーディオ視覚編集パイプラインよりも優れています。
- 参考スコア（独自算出の注目度）: 20.333867897852226
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human-centric audio-visual editing requires precise alignment of lip movements, gestures, and expressions with speech. Existing methods process inputs through independent video and audio pipelines, preventing cross-modal interaction between visual editing and audio dubbing. Many of these pipelines further rely on mask-based inpainting. As a result, they suffer from poor lip-audio synchronization, cumulative pipeline errors, and an inherent mask-size dilemma. We present AVE, the first unified end-to-end framework that jointly performs reference-guided person swapping, insertion, and deletion across both audio and video modalities without requiring spatial masks. To overcome data scarcity, we design a synthesis pipeline and introduce AVE-Dataset, the first audio-visual editing dataset to provide 100K pairs with appearance and voice references. By combining Synthetic-to-Real reconstruction with preliminary audio warm-up, our framework transcends synthetic pipeline limits and mitigates audio-video token imbalance. AVE outperforms modality-separate audio-visual editing pipelines in editing realism, temporal consistency, and audio-visual alignment.
- Abstract（参考訳）: 人間中心の音声視覚編集では、唇の動き、ジェスチャー、表情を音声で正確に調整する必要がある。
既存の方法は、独立したビデオとオーディオパイプラインを通して入力を処理するため、ビジュアル編集とオーディオダビングの相互の相互作用を防ぐ。
これらのパイプラインの多くはマスクベースの塗装に依存している。
その結果, 口唇音の同期不良, 累積パイプライン誤差, マスクサイズのジレンマが生じた。
AVEは、空間マスクを必要とせず、音声とビデオの両方のモダリティをスワップ、挿入、削除を共同で行う最初の統合エンドツーエンドフレームワークである。
データ不足を克服するため、私たちは合成パイプラインを設計し、AVE-Datasetを導入しました。
音声の予備的ウォームアップとSynthetic-to-Real再構成を組み合わせることで、我々のフレームワークは合成パイプライン限界を超越し、オーディオビデオトークンの不均衡を緩和する。
AVEは、リアリズム、時間的一貫性、オーディオ視覚アライメントの編集において、モダリティ別オーディオ視覚編集パイプラインよりも優れています。
関連論文リスト
- SepGen: Multi-Stem Audio-Video Separation and Generation in a Single Model [78.12651379541563]
4Dオーディオ・ヴィジュアルシーンは、ビデオと、その描写するダイナミックな幾何学と、それを映し出す音源で構成されている。
このようなシーンを新しい視点からレンダリングするには、すべてのソースを個々の波形として利用する必要がある。
本稿では,事前に訓練したオーディオビデオ生成装置を拡張して,ビデオ,混合サウンドトラック,および1つの同時サンプリング実行時の1つの波形を出力するSepGenを提案する。
論文 参考訳（メタデータ） (2026-10-08T06:51:59Z) - Soundwich: Video Generation with Layered and Controllable Audio [51.034017422638776]
Soundwichは、凍結したジョイントオーディオビデオフローマッチングモデルを複数のオーディオステムのジェネレータに変換する、トレーニング不要のフレームワークである。
サウンドウィッチは、その時間的活動を明確に制御して、別々のオーディオステムを生成する。
実験と人的評価は、柔軟なソースレベルの編集を可能にしながら、時間的制御、ソース分離、自然性を改善したことを示している。
論文 参考訳（メタデータ） (2026-09-30T20:35:29Z) - Schrodinger Audio-Visual Editor: Object-Level Audiovisual Removal [90.14887235360611]
SAVEBenchは、テキストとマスク条件を備えたペアオーディオヴィジュアルデータセットで、オブジェクト指向のソース・ツー・ターゲット学習を可能にする。
SAVEにはSchrodinger Bridgeが組み込まれており、ソースからターゲットのオーディオヴィジュアルミックスへのダイレクトトランスポートを学習する。
評価の結果,提案したSAVEモデルは,残したコンテンツを保存しながら,音声・視覚コンテンツ中の対象オブジェクトを除去できることがわかった。
論文 参考訳（メタデータ） (2025-12-14T23:19:15Z) - Audio-sync Video Instance Editing with Granularity-Aware Mask Refiner [66.96392168346851]
AVI-Editはオーディオ同期ビデオインスタンス編集のためのフレームワークである。
本稿では,粗いユーザ用マスクを精密なインスタンスレベル領域に反復的に洗練する,粒度対応マスク精製器を提案する。
我々はまた、高品質なオーディオガイダンスをキュレートし、きめ細かい時間制御を提供するセルフフィードバックオーディオエージェントを設計する。
論文 参考訳（メタデータ） (2025-12-11T11:58:53Z) - AV-Edit: Multimodal Generative Sound Effect Editing via Audio-Visual Semantic Joint Control [10.55114688654566]
AV-Editは、ビデオ内の既存のオーディオトラックのきめ細かい編集を可能にする生成的サウンドエフェクト編集フレームワークである。
提案手法は,マルチモーダル事前学習のためのコントラスト型音声-視覚マスキングオートエンコーダ (CAV-MAE-Edit) を特別に設計した。
実験により,提案したAV-Editは,視覚コンテンツに基づいて高精度な修正を施した高品質なオーディオを生成することが示された。
論文 参考訳（メタデータ） (2025-11-26T07:59:53Z) - CATR: Combinatorial-Dependence Audio-Queried Transformer for
Audio-Visual Video Segmentation [43.562848631392384]
音声視覚映像のセグメンテーションは、画像フレーム内の音生成対象のピクセルレベルのマップを生成することを目的としている。
本稿では,それぞれの時間的・空間的次元から音声と映像の特徴を結合した非結合型音声・映像依存性を提案する。
論文 参考訳（メタデータ） (2023-09-18T12:24:02Z) - Large-scale unsupervised audio pre-training for video-to-speech
synthesis [64.86087257004883]
音声合成は、話者の無声映像から音声信号を再構成する作業である。
本稿では,24kHzで3,500時間以上のオーディオデータをエンコーダ・デコーダモデルでトレーニングすることを提案する。
次に、事前学習したデコーダを用いて、音声合成タスクの音声デコーダを初期化する。
論文 参考訳（メタデータ） (2023-06-27T13:31:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。