論文の概要: AV-Edit: Multimodal Generative Sound Effect Editing via Audio-Visual Semantic Joint Control

• arxiv url: http://arxiv.org/abs/2511.21146v1
• Date: Wed, 26 Nov 2025 07:59:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:59.020075
• Title: AV-Edit: Multimodal Generative Sound Effect Editing via Audio-Visual Semantic Joint Control
• Title（参考訳）: AV-Edit:AV-Visual Semantic Joint Controlによるマルチモーダル生成音効果編集
• Authors: Xinyue Guo, Xiaoran Yang, Lipan Zhang, Jianxuan Yang, Zhao Wang, Jian Luan,
• Abstract要約: AV-Editは、ビデオ内の既存のオーディオトラックのきめ細かい編集を可能にする生成的サウンドエフェクト編集フレームワークである。 提案手法は,マルチモーダル事前学習のためのコントラスト型音声-視覚マスキングオートエンコーダ (CAV-MAE-Edit) を特別に設計した。 実験により,提案したAV-Editは,視覚コンテンツに基づいて高精度な修正を施した高品質なオーディオを生成することが示された。
• 参考スコア（独自算出の注目度）: 10.55114688654566
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sound effect editing-modifying audio by adding, removing, or replacing elements-remains constrained by existing approaches that rely solely on low-level signal processing or coarse text prompts, often resulting in limited flexibility and suboptimal audio quality. To address this, we propose AV-Edit, a generative sound effect editing framework that enables fine-grained editing of existing audio tracks in videos by jointly leveraging visual, audio, and text semantics. Specifically, the proposed method employs a specially designed contrastive audio-visual masking autoencoder (CAV-MAE-Edit) for multimodal pre-training, learning aligned cross-modal representations. These representations are then used to train an editorial Multimodal Diffusion Transformer (MM-DiT) capable of removing visually irrelevant sounds and generating missing audio elements consistent with video content through a correlation-based feature gating training strategy. Furthermore, we construct a dedicated video-based sound editing dataset as an evaluation benchmark. Experiments demonstrate that the proposed AV-Edit generates high-quality audio with precise modifications based on visual content, achieving state-of-the-art performance in the field of sound effect editing and exhibiting strong competitiveness in the domain of audio generation.
• Abstract（参考訳）: 低レベルの信号処理や粗いテキストプロンプトに依存する既存のアプローチに制約された要素を付加、削除、置換することで、音効果の編集・修正を行う。 そこで本研究では,映像,音声,テキストのセマンティクスを共同で活用することにより,既存の音声トラックの微細な編集を可能にする再生音効果編集フレームワークであるAV-Editを提案する。 具体的には,マルチモーダル事前学習のためのコントラスト型音声-視覚マスキングオートエンコーダ (CAV-MAE-Edit) を用いた。 これらの表現は、視覚的に無関係な音を除去し、相関ベースの特徴ゲーティングトレーニング戦略により、映像コンテンツと整合した音声要素を欠くことができる編集用マルチモーダル拡散変換器(MM-DiT)の訓練に使用される。 さらに,評価ベンチマークとして,専用のビデオベース音声編集データセットを構築した。 実験により,提案したAV-Editは,視覚的内容に基づいて精度の高い高品質なオーディオを生成し,音効果編集の分野における最先端性能を実現し,音声生成領域における強力な競争力を示すことを示す。

関連論文リスト

• Object-AVEdit: An Object-level Audio-Visual Editing Model [79.62095842136115]
  インバージョン再生パラダイムに基づくオブジェクトレベルの音声視覚編集を実現するtextbfObject-AVEditを提案する。 編集中のオブジェクトレベルの制御性を実現するために,単語から音声へのオブジェクトの一致した音声生成モデルを開発した。 より優れた構造情報保存とオブジェクトレベルの編集効果を実現するため,本アルゴリズムでは,倒立再生に最適化された編集アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-09-27T18:12:13Z)
• RFM-Editing: Rectified Flow Matching for Text-guided Audio Editing [21.479883699581308]
  そこで本研究では,音声編集のための効率のよいフロー整合型拡散フレームワークを提案する。 実験の結果,補助的なキャプションやマスクを必要とせず,忠実なセマンティックアライメントを実現することができた。
  論文  参考訳（メタデータ） (2025-09-17T14:13:40Z)
• ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models for Audio Generation and Editing [47.14083940177122]
  ThinkSoundは、ビデオの段階的にインタラクティブなオーディオ生成と編集を可能にする新しいフレームワークである。 提案手法は,3つの相補的な段階 – セマンティック・コヒーレント,インタラクティブなオブジェクト中心の改良,ターゲット編集 – に分解する。 実験により、ThinkSoundはオーディオメトリクスとCoTメトリクスの両方で、ビデオからオーディオ生成における最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-06-26T16:32:06Z)
• Zero-Shot Audio-Visual Editing via Cross-Modal Delta Denoising [114.39028517171236]
  そこで我々は,ゼロショット音声映像編集を導入し,新たなモデルトレーニングを必要とせず,特定のテキストプロンプトに合わせるために,オリジナル音声映像コンテンツを変換する新しいタスクを提案する。 この課題を評価するために、ゼロショットオーディオビデオ編集用に明示的に設計されたベンチマークデータセットAvED-Benchをキュレートする。 AvEDは、AvED-Benchと最近のOAVEデータセットの両方で優れた結果を示し、その一般化能力を検証する。
  論文  参考訳（メタデータ） (2025-03-26T17:59:04Z)
• Audio-Agent: Leveraging LLMs For Audio Generation, Editing and Composition [72.22243595269389]
  本稿では,テキストやビデオの入力に基づく音声生成,編集,合成のためのフレームワークであるAudio-Agentを紹介する。 提案手法では,事前学習したTTA拡散ネットワークを音声生成エージェントとして利用し,GPT-4でタンデムで動作させる。 VTA(Video-to-audio)タスクでは、既存のほとんどのメソッドは、生成されたオーディオとビデオイベントを同期させるタイムスタンプ検出器のトレーニングを必要とする。
  論文  参考訳（メタデータ） (2024-10-04T11:40:53Z)
• AudioScenic: Audio-Driven Video Scene Editing [55.098754835213995]
  本稿では,映像シーン編集のためのオーディオ駆動フレームワークであるAudioScenicを紹介する。 AudioScenicは、時間対応の音声セマンティックインジェクションプロセスを通じて、音声セマンティクスを視覚シーンに統合する。 音の大きさの変化に応じてシーンの時間的ダイナミクスを調節するオーディオ・マグニチュード・モジュレータ・モジュールを提案する。 第2に、オーディオ周波数フーザーモジュールは、映像シーンのダイナミックスとオーディオの周波数を一致させることにより、時間的一貫性を確保するように設計されている。
  論文  参考訳（メタデータ） (2024-04-25T12:55:58Z)
• Audio Editing with Non-Rigid Text Prompts [24.008609489049206]
  提案した編集パイプラインは,入力音声に忠実な音声編集を作成可能であることを示す。 追加、スタイル転送、インペイントを行うテキストプロンプトを探索する。
  論文  参考訳（メタデータ） (2023-10-19T16:09:44Z)
• Diverse and Aligned Audio-to-Video Generation via Text-to-Video Model Adaptation [89.96013329530484]
  本研究では,多様な意味クラスから自然音声サンプルによってガイドされる多種多様なリアルなビデオを生成するタスクについて考察する。 既存のテキスト条件付きビデオ生成モデルと事前学習されたオーディオエンコーダモデルを利用する。 提案手法は,音声映像サンプルの有意な意味的多様性を示す3つのデータセットに対して広範に検証する。
  論文  参考訳（メタデータ） (2023-09-28T13:26:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。