論文の概要: AVE-Compass: Towards Holistic Evaluation for Audio-Video Editing Abilities
- arxiv url: http://arxiv.org/abs/2607.24821v1
- Date: Fri, 17 Jul 2026 12:40:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:39.081274
- Title: AVE-Compass: Towards Holistic Evaluation for Audio-Video Editing Abilities
- Title（参考訳）: AVE-Compass:オーディオ映像編集能力の全体的評価に向けて
- Abstract要約: 145のキュレートされたビデオ、196のオーディオと視覚を結合した編集命令、2688のきめ細かいチェックリスト項目を備えた総合的なベンチマークであるAVE-を紹介した。
チェックリストに基づくMLLM判定と専用のリアリズムを通じて、インテントのインストラクションフォロー、フィデリティ保存、リアリズム、編集を評価し、自動化されたクロスモーダル、ビデオ、オーディオメトリクスで補完する。
AVE-Agentは、複雑な命令を依存サブタスクに分解し、自己回帰とフィードバックによる編集結果を反復的に改善するモジュラー評価フレームワークである。
- 参考スコア（独自算出の注目度）: 38.02927226790559
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While instruction-based video editing has advanced rapidly, real-world videos contain tightly coupled audio and visual signals, and editing one modality often requires coordinated changes in the other. Existing benchmarks primarily evaluate visual transformations on silent clips or isolated audio editing, leaving complex audio-visual editing and cross-modal consistency underexplored. We introduce AVE-Compass, a comprehensive benchmark with 145 curated source videos, 196 audio-visually coupled editing instructions, and 2,688 fine-grained checklist items. It evaluates Instruction Following, Fidelity Preserving, Realism, and Editing Intent through checklist-based MLLM judging and a dedicated realism rubric, complemented by automated cross-modal, video, and audio metrics. Extensive evaluation shows that state-of-the-art models still struggle to execute cross-modal instructions while preserving non-target content. We further propose AVE-Agent, a modular agent framework that decomposes complex instructions into dependent subtasks and iteratively improves editing results through self-reflection and evaluator feedback. AVE-Agent improves instruction execution, Fidelity Preserving, and audio-visual alignment in joint editing while maintaining competitive perceptual quality.
- Abstract（参考訳）: 命令ベースのビデオ編集は急速に進歩しているが、実世界のビデオには密結合した音声と視覚信号が含まれており、一方のモダリティの編集には他方の調整が必要な場合が多い。
既存のベンチマークでは、サイレントクリップや独立したオーディオ編集の視覚的変換を主に評価しており、複雑なオーディオ-視覚的編集とクロスモーダルな一貫性が過小評価されている。
AVE-Compassは、145のキュレートされたソースビデオ、196のオーディオと視覚を結合した編集命令、および2,688のきめ細かいチェックリスト項目を備えた総合的なベンチマークである。
チェックリストに基づくMLLM判定と、クロスモーダル、ビデオ、オーディオメトリクスを補完する専用のリアリズムルーリックを通じて、インテントの指示追従、忠実保存、リアリズム、編集を評価する。
大規模な評価では、最先端のモデルは、ターゲット外のコンテンツを保存しながら、クロスモーダルな命令の実行に苦慮している。
さらに、複雑な命令を依存サブタスクに分解し、自己回帰と評価器フィードバックによる編集結果を反復的に改善するモジュラーエージェントフレームワークであるAVE-Agentを提案する。
AVE-Agentは、競争力のある知覚品質を維持しながら、共同編集における命令実行、フィデリティ保存、オーディオ視覚アライメントを改善している。
関連論文リスト
- AVENUE: Audio-Video EditiNg Understanding and Evaluation [16.21802697462669]
AVENUE, Audio-Video EditiNg Understanding and Evaluationを紹介する。
制御可能なAV編集モデルに向けた進捗を駆動するためのベンチマークおよびモダリティ対応評価フレームワークである。
一つのモダリティを編集する場合、既存のモデルは、パラダイムに関係なく、意図しない変更をしばしば誘発する。
論文 参考訳（メタデータ） (2026-08-31T13:05:01Z) - OmniEdit-Bench: A Comprehensive Benchmark for Instruction-based Video Editing [53.21868575804758]
命令ベースのビデオ編集(IVE)のための包括的かつ構造化されたベンチマークを導入する。
本ベンチマークでは,編集タスクを空間,時間,音声,参照ベースの編集など,複数のビデオ特化次元に分解する。
本研究では,4つの相補的な次元(精度,保存性,リアリズム,一貫性)から編集品質を評価する評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-05T16:58:48Z) - Hybrid Diffusion Transformer for Instruction-Guided Audio Editing via Rectified Flow [21.976898083812674]
命令誘導音声編集のためのハイブリッド2段階拡散変換器アーキテクチャを提案する。
低解像度の段階で粗いセマンティックアライメントを確立するために音声とテキストトークンを共同で注目し、次に、高解像度の段階で編集の詳細を洗練するために、共同アテンションブロックと交差アテンションブロックを交互に切り替える。
論文 参考訳（メタデータ） (2026-06-18T11:20:08Z) - CoVEBench: Can Video Editing Models Handle Complex Instructions? [26.871333176496126]
CoVEBenchは、416のキュレートされたソースビデオ、626のマルチポイント編集命令、9,990のきめ細かいチェックリスト項目からなる合成ビデオ編集ベンチマークである。
MLLM-judged命令コンプライアンスとビデオ忠実度によるモデルの評価と、ビデオ品質の自動測定を行う。
論文 参考訳（メタデータ） (2026-06-07T02:29:41Z) - JAVEDIT: Joint Audio-Visual Instruction-Guided Video Editing with Agentic Data Curation [100.46371655184585]
JAVEdit-100kは、命令誘導型共同視覚編集に適した、最初の大規模で高品質なデータセットである。
このデータセットは、4つの巧妙に設計された生成パイプラインを通じて厳密に構築され、エージェント・イン・ザ・ループの品質管理機構とシームレスにペアリングされる。
フィールド内での標準化評価の欠如に対処するため、我々は、キュレートされたソースビデオと人間対応の指示を含む包括的なベンチマークであるJAVEditBenchを紹介した。
論文 参考訳（メタデータ） (2026-06-02T05:26:06Z) - Towards Universal Video MLLMs with Attribute-Structured and Quality-Verified Instructions [74.27249614046309]
ASID-1Mは100万の構造化された微細なオーディオ視覚的指示アノテーションのオープンソースコレクションである。
ASID-Verifyは、アノテーションのためのスケーラブルなデータキュレーションパイプラインである。
ASID-CaptionerはSupervised Fine-Tuningを通じてトレーニングされたビデオ理解モデルである。
論文 参考訳（メタデータ） (2026-02-13T15:20:54Z) - Schrodinger Audio-Visual Editor: Object-Level Audiovisual Removal [90.14887235360611]
SAVEBenchは、テキストとマスク条件を備えたペアオーディオヴィジュアルデータセットで、オブジェクト指向のソース・ツー・ターゲット学習を可能にする。
SAVEにはSchrodinger Bridgeが組み込まれており、ソースからターゲットのオーディオヴィジュアルミックスへのダイレクトトランスポートを学習する。
評価の結果,提案したSAVEモデルは,残したコンテンツを保存しながら,音声・視覚コンテンツ中の対象オブジェクトを除去できることがわかった。
論文 参考訳（メタデータ） (2025-12-14T23:19:15Z) - Audio-sync Video Instance Editing with Granularity-Aware Mask Refiner [66.96392168346851]
AVI-Editはオーディオ同期ビデオインスタンス編集のためのフレームワークである。
本稿では,粗いユーザ用マスクを精密なインスタンスレベル領域に反復的に洗練する,粒度対応マスク精製器を提案する。
我々はまた、高品質なオーディオガイダンスをキュレートし、きめ細かい時間制御を提供するセルフフィードバックオーディオエージェントを設計する。
論文 参考訳（メタデータ） (2025-12-11T11:58:53Z) - AV-Edit: Multimodal Generative Sound Effect Editing via Audio-Visual Semantic Joint Control [10.55114688654566]
AV-Editは、ビデオ内の既存のオーディオトラックのきめ細かい編集を可能にする生成的サウンドエフェクト編集フレームワークである。
提案手法は,マルチモーダル事前学習のためのコントラスト型音声-視覚マスキングオートエンコーダ (CAV-MAE-Edit) を特別に設計した。
実験により,提案したAV-Editは,視覚コンテンツに基づいて高精度な修正を施した高品質なオーディオを生成することが示された。
論文 参考訳（メタデータ） (2025-11-26T07:59:53Z) - RFM-Editing: Rectified Flow Matching for Text-guided Audio Editing [21.479883699581308]
そこで本研究では,音声編集のための効率のよいフロー整合型拡散フレームワークを提案する。
実験の結果,補助的なキャプションやマスクを必要とせず,忠実なセマンティックアライメントを実現することができた。
論文 参考訳（メタデータ） (2025-09-17T14:13:40Z) - EditGen: Harnessing Cross-Attention Control for Instruction-Based Auto-Regressive Audio Editing [54.10773655199149]
自動回帰モデルにおける効率的な音声編集のためのクロスアテンション制御の活用について検討する。
画像編集手法に触発されて,横断的・自己認識的メカニズムを通じて編集をガイドするPrompt-to-Promptライクなアプローチを開発した。
論文 参考訳（メタデータ） (2025-07-15T08:44:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。