論文の概要: AV-FlowEdit: Training-Free Prompt-Driven Audio-Visual Editing with Event-Aware Spectral Trajectory Preservation

• arxiv url: http://arxiv.org/abs/2610.13072v1
• Date: Fri, 09 Oct 2026 06:31:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.42645
• Title: AV-FlowEdit: Training-Free Prompt-Driven Audio-Visual Editing with Event-Aware Spectral Trajectory Preservation
• Title（参考訳）: AV-FlowEdit:イベント認識型スペクトル軌道保存による学習不要なプロンプト駆動型オーディオ映像編集
• Abstract要約: AV-FlowEditは、プロンプト駆動型オーディオビデオ編集のためのトレーニングフリーでインバージョンフリーなフレームワークである。 我々の重要な洞察は、ソース-ターゲットフローの違いは、モーダルな編集方向と保存手段の両方を提供するということである。 サンプリング中に蓄積したドリフトを抑制するため、クロスモーダルイベント対応分光軌道保存はフローサリエンシ、アライメントオーディオ活動、低周波変位、拡散ステージスケジューリングを組み合わせた。
• 参考スコア（独自算出の注目度）: 6.975996175362904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Joint audio-video diffusion models generate synchronized content, but editing existing clips requires target changes without disrupting non-target structure or cross-modal correspondence. We present AV-FlowEdit, a training-free and inversion-free framework for prompt-driven audio-video editing. Our key insight is that source--target flow differences provide both cross-modal editing directions and preservation cues. Under shared perturbations, they jointly update the video and audio branches, supporting visual-only, audio-only, and joint edits while retaining pretrained cross-modal interactions. To suppress drift accumulated during sampling, Cross-Modal Event-Aware Spectral Trajectory Preservation combines flow saliency, aligned audio activity, multiscale low-frequency displacement, and diffusion-stage scheduling. This adaptively preserves unsupported regions while allowing intended audio-visual events. AV-FlowEdit requires no model training, external masks, or optimization-based inversion. Experiments show strong prompt alignment and temporal consistency, together with competitive audio quality and cross-modal coherence.
• Abstract（参考訳）: 共同音声・ビデオ拡散モデルでは、同期コンテンツを生成するが、既存のクリップを編集するには、非ターゲット構造やモード間通信を中断することなく、ターゲットの変更が必要である。 AV-FlowEditは、プロンプト駆動型オーディオビデオ編集のためのトレーニングフリーでインバージョンフリーなフレームワークである。 我々の重要な洞察は、ソース-ターゲットフローの違いは、モーダルな編集方向と保存手段の両方を提供するということである。 共有された摂動の下では、ビデオとオーディオのブランチを共同で更新し、事前訓練されたクロスモーダルインタラクションを維持しながら、視覚のみ、オーディオのみ、および共同編集をサポートする。 サンプリング中に蓄積したドリフトを抑制するため、クロスモーダルイベント対応分光軌道保存はフローサリエンシ、アライメントオーディオ活動、マルチスケール低周波変位、拡散ステージスケジューリングを組み合わせた。 これは、意図したオーディオ視覚イベントを許可しながら、サポート対象のリージョンを適応的に保存する。 AV-FlowEditは、モデルトレーニング、外部マスク、最適化ベースのインバージョンを必要としない。 実験は、競合するオーディオ品質とクロスモーダルコヒーレンスとともに、強い即時アライメントと時間的一貫性を示す。

関連論文リスト

• Soundwich: Video Generation with Layered and Controllable Audio [51.034017422638776]
  Soundwichは、凍結したジョイントオーディオビデオフローマッチングモデルを複数のオーディオステムのジェネレータに変換する、トレーニング不要のフレームワークである。 サウンドウィッチは、その時間的活動を明確に制御して、別々のオーディオステムを生成する。 実験と人的評価は、柔軟なソースレベルの編集を可能にしながら、時間的制御、ソース分離、自然性を改善したことを示している。
  論文  参考訳（メタデータ） (2026-09-30T20:35:29Z)
• Schrodinger Audio-Visual Editor: Object-Level Audiovisual Removal [90.14887235360611]
  SAVEBenchは、テキストとマスク条件を備えたペアオーディオヴィジュアルデータセットで、オブジェクト指向のソース・ツー・ターゲット学習を可能にする。 SAVEにはSchrodinger Bridgeが組み込まれており、ソースからターゲットのオーディオヴィジュアルミックスへのダイレクトトランスポートを学習する。 評価の結果,提案したSAVEモデルは,残したコンテンツを保存しながら,音声・視覚コンテンツ中の対象オブジェクトを除去できることがわかった。
  論文  参考訳（メタデータ） (2025-12-14T23:19:15Z)
• Audio-sync Video Instance Editing with Granularity-Aware Mask Refiner [66.96392168346851]
  AVI-Editはオーディオ同期ビデオインスタンス編集のためのフレームワークである。 本稿では,粗いユーザ用マスクを精密なインスタンスレベル領域に反復的に洗練する,粒度対応マスク精製器を提案する。 我々はまた、高品質なオーディオガイダンスをキュレートし、きめ細かい時間制御を提供するセルフフィードバックオーディオエージェントを設計する。
  論文  参考訳（メタデータ） (2025-12-11T11:58:53Z)
• AV-Edit: Multimodal Generative Sound Effect Editing via Audio-Visual Semantic Joint Control [10.55114688654566]
  AV-Editは、ビデオ内の既存のオーディオトラックのきめ細かい編集を可能にする生成的サウンドエフェクト編集フレームワークである。 提案手法は,マルチモーダル事前学習のためのコントラスト型音声-視覚マスキングオートエンコーダ (CAV-MAE-Edit) を特別に設計した。 実験により,提案したAV-Editは,視覚コンテンツに基づいて高精度な修正を施した高品質なオーディオを生成することが示された。
  論文  参考訳（メタデータ） (2025-11-26T07:59:53Z)
• RFM-Editing: Rectified Flow Matching for Text-guided Audio Editing [21.479883699581308]
  そこで本研究では,音声編集のための効率のよいフロー整合型拡散フレームワークを提案する。 実験の結果,補助的なキャプションやマスクを必要とせず,忠実なセマンティックアライメントを実現することができた。
  論文  参考訳（メタデータ） (2025-09-17T14:13:40Z)
• AudioScenic: Audio-Driven Video Scene Editing [55.098754835213995]
  本稿では,映像シーン編集のためのオーディオ駆動フレームワークであるAudioScenicを紹介する。 AudioScenicは、時間対応の音声セマンティックインジェクションプロセスを通じて、音声セマンティクスを視覚シーンに統合する。 音の大きさの変化に応じてシーンの時間的ダイナミクスを調節するオーディオ・マグニチュード・モジュレータ・モジュールを提案する。 第2に、オーディオ周波数フーザーモジュールは、映像シーンのダイナミックスとオーディオの周波数を一致させることにより、時間的一貫性を確保するように設計されている。
  論文  参考訳（メタデータ） (2024-04-25T12:55:58Z)
• Rethink Cross-Modal Fusion in Weakly-Supervised Audio-Visual Video Parsing [58.9467115916639]
  本研究では, 核融合における非相関なクロスモーダルコンテキストを低減するために, メッセンジャー誘導型中間核融合変換器を提案する。 メッセンジャーは、完全なクロスモーダルコンテキストをコンパクトな表現に凝縮し、有用なクロスモーダル情報のみを保持する。 そこで我々は,無関係な音声情報の視覚事象予測への影響を抑えるために,クロスオーディオ予測整合性を提案する。
  論文  参考訳（メタデータ） (2023-11-14T13:27:03Z)
• SyncFusion: Multimodal Onset-synchronized Video-to-Audio Foley Synthesis [9.118448725265669]
  音を設計する際に最も時間がかかるステップの1つは、音声とビデオの同期です。 ビデオゲームやアニメーションでは、参照音声は存在せず、ビデオからのイベントタイミングのマニュアルアノテーションを必要とする。 そこで本研究では,ビデオから繰り返し動作のオンセットを抽出し,新たな音効果音響トラックを生成するために訓練された拡散モデルの条件付けに用いるシステムを提案する。
  論文  参考訳（メタデータ） (2023-10-23T18:01:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。