論文の概要: AVENUE: Audio-Video EditiNg Understanding and Evaluation
- arxiv url: http://arxiv.org/abs/2609.04253v1
- Date: Mon, 31 Aug 2026 13:05:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.750927
- Title: AVENUE: Audio-Video EditiNg Understanding and Evaluation
- Title（参考訳）: AVENUE:オーディオビデオEditiNgの理解と評価
- Abstract要約: AVENUE, Audio-Video EditiNg Understanding and Evaluationを紹介する。
制御可能なAV編集モデルに向けた進捗を駆動するためのベンチマークおよびモダリティ対応評価フレームワークである。
一つのモダリティを編集する場合、既存のモデルは、パラダイムに関係なく、意図しない変更をしばしば誘発する。
- 参考スコア（独自算出の注目度）: 16.21802697462669
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Audio-video (AV) editing aims to modify audio and video content according to a target prompt. Unlike single-modality editing, AV editing requires models to infer a modality-selective edit scope from the prompt alone: determining not only what should change, but also which modality should be preserved. Faithfully evaluating such models therefore requires both (i) benchmarks that span diverse edit types and modality categories, and (ii) evaluation that is itself modality-aware and sample-specific. However, existing AV editing benchmarks provide limited coverage of edit types and modality combinations, while current evaluation systems are often modality-blind and sample-agnostic, making it difficult to assess whether models faithfully preserve the unintended modality. To address these gaps, we introduce AVENUE, Audio-Video EditiNg Understanding and Evaluation, comprising two contributions: (1) a benchmark of 1,291 source clips and 7,957 editing instructions across audio-targeted, video-targeted, and AV-coupled edit types, curated and human-verified from VGGSound; and (2) a sample-specific, modality-aware evaluation framework that specifies, for each sample, both the intended change and the content that must remain intact. We evaluate representative AV editing models spanning three editing paradigms : joint, sequential, and separate, providing the first systematic analysis of modality-selectivity across paradigms. Our findings reveal a fundamental open challenge: when editing one modality, existing models frequently induce unintended changes in the other, regardless of paradigm. AVENUE provides a benchmark and modality-aware evaluation framework to drive progress toward more controllable AV editing models. Our dataset is publicly available on Hugging Face: https://huggingface.co/datasets/AVENUE-dataset/AVENUE.
- Abstract（参考訳）: オーディオビデオ(AV)編集は、ターゲットプロンプトに従ってオーディオとビデオのコンテンツを変更することを目的としている。
単一モダリティ編集とは異なり、AV編集では、モダリティ選択の編集範囲をプロンプトのみから推測するモデルが必要であり、変更すべきものだけでなく、どのモダリティを保存すべきかを決定する。
したがって、そのようなモデルを忠実に評価するには、両方が必要である。
(i)様々な編集タイプやモダリティカテゴリにまたがるベンチマーク、
二 モダリティに気付き、サンプルに特有な評価。
しかし、既存のAV編集ベンチマークは、編集タイプとモダリティの組み合わせを限定的にカバーしているが、現在の評価システムは、しばしばモダリティが盲目でサンプルに依存しないため、モデルが意図しないモダリティを忠実に保存しているかどうかを評価することは困難である。
AVENUE, Audio-Video EditiNg Understanding and Evaluation(AVENUE), AVENUE, Audio-Video EditiNg Understanding and Evaluation(AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENUE, AVENG, AV, AV, AV, AV, AV, AV, AV, AVの2つのコントリビューションを紹介する。
我々は,3つの編集パラダイムにまたがる代表的AV編集モデル(ジョイント,シーケンシャル,セカンダリ)を評価し,パラダイム間でのモダリティ選択性の最初の体系的解析を行う。
一つのモダリティを編集する場合、既存のモデルは、パラダイムに関係なく、意図しない変更をしばしば誘発する。
AVENUEは、より制御可能なAV編集モデルに向けた進歩を促進するためのベンチマークとモダリティ対応評価フレームワークを提供する。
私たちのデータセットは、Hugging Faceで公開されています。
関連論文リスト
- OmniEdit-Bench: A Comprehensive Benchmark for Instruction-based Video Editing [53.21868575804758]
命令ベースのビデオ編集(IVE)のための包括的かつ構造化されたベンチマークを導入する。
本ベンチマークでは,編集タスクを空間,時間,音声,参照ベースの編集など,複数のビデオ特化次元に分解する。
本研究では,4つの相補的な次元(精度,保存性,リアリズム,一貫性)から編集品質を評価する評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-05T16:58:48Z) - AVE-Compass: Towards Holistic Evaluation for Audio-Video Editing Abilities [38.02927226790559]
145のキュレートされたビデオ、196のオーディオと視覚を結合した編集命令、2688のきめ細かいチェックリスト項目を備えた総合的なベンチマークであるAVE-を紹介した。
チェックリストに基づくMLLM判定と専用のリアリズムを通じて、インテントのインストラクションフォロー、フィデリティ保存、リアリズム、編集を評価し、自動化されたクロスモーダル、ビデオ、オーディオメトリクスで補完する。
AVE-Agentは、複雑な命令を依存サブタスクに分解し、自己回帰とフィードバックによる編集結果を反復的に改善するモジュラー評価フレームワークである。
論文 参考訳（メタデータ） (2026-07-17T12:40:13Z) - Taming I2V models for Image HOI Editing: A Cognitive Benchmark and Agentic Self-Correcting Framework [62.705866028818576]
現在の画像編集法は静的属性で優れているが、複雑なHuman-Object Interactions (HOI)では失敗する
3つの進歩的認知レベルを持つ総合的なベンチマークであるHOI-Editを紹介する。
HOI-Editでは、SCPEは対話におけるNano Bananaのような最先端(SOTA)編集モデルと競合するパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-06-17T13:44:26Z) - MMAE: A Massive Multitask Audio Editing Benchmark [66.74229858407413]
MMAEは汎用的な命令ベースの音声編集のために設計された最初の総合的な評価テストベッドである。
2,000個の高忠実度サンプルを、先駆的なルーリック評価フレームワークと組み合わせて構成する。
評価の結果,既存のシステムは信頼性の高い編集には程遠いことが判明した。
論文 参考訳（メタデータ） (2026-06-05T12:52:41Z) - MSAVBench: Towards Comprehensive and Reliable Evaluation of Multi-Shot Audio-Video Generation [88.7702943548674]
マルチショットオーディオビデオ生成のための,初の総合的なベンチマークと適応型ハイブリッド評価フレームワークであるMSAVBenchを紹介する。
私たちのベンチマークでは、ビデオ、オーディオ、ショット、参照の4つの重要な領域にまたがっており、多様なタスク設定、最大15のショット数、非現実的なシナリオに挑戦しています。
MSAVBenchは人間の判断と高度に一致し、スピアマンのランク相関は91.5%に達する。
論文 参考訳（メタデータ） (2026-05-19T17:59:33Z) - AVGen-Bench: A Task-Driven Benchmark for Multi-Granular Evaluation of Text-to-Audio-Video Generation [42.157453071865056]
AVGen-Benchは、T2AV生成のためのタスク駆動ベンチマークである。
軽量スペシャリストモデルとマルチモーダル大言語モデル(MLLM)を組み合わせた多言語評価フレームワークを提案する。
評価の結果,テキストレンダリングの持続的失敗,音声のコヒーレンス,物理的推論,音声ピッチ制御の普遍的破壊など,強い視覚的美学と弱い意味的信頼性のギャップが明らかとなった。
論文 参考訳（メタデータ） (2026-04-09T17:59:39Z) - ReViSE: Towards Reason-Informed Video Editing in Unified Models with Self-Reflective Learning [57.08352504712699]
ビデオ統合モデルは、理解と生成において強力な能力を示すが、理性に富んだビジュアル編集に苦慮している。
本稿では,Reason-Informed Video Editing (RVE)タスクを紹介する。
一つのアーキテクチャ内で生成と評価を統一するフレームワークであるReViSEを提案する。
論文 参考訳（メタデータ） (2025-12-10T18:57:09Z) - EdiVal-Agent: An Object-Centric Framework for Automated, Fine-Grained Evaluation of Multi-Turn Editing [170.71134330650796]
EdiVal-Agentは、命令ベースの画像編集のためのオブジェクト指向評価フレームワークである。
標準のシングルターンだけでなく、マルチターンの命令ベースの編集を精度良く評価するように設計されている。
EdiVal-Benchは、インコンテキスト、フローマッチング、拡散パラダイムにまたがる9つの命令タイプと13の最先端編集モデルをカバーするベンチマークである。
論文 参考訳（メタデータ） (2025-09-16T17:45:39Z) - EditBoard: Towards a Comprehensive Evaluation Benchmark for Text-Based Video Editing Models [16.045012576543474]
テキストベースのビデオ編集は有望な分野として現れ、テキストプロンプトに基づいたビデオの正確な修正を可能にしている。
既存の評価は限定的で一貫性がなく、通常、全体的なパフォーマンスを単一のスコアで要約する。
テキストベースのビデオ編集モデルの総合評価ベンチマークであるEditBoardを提案する。
論文 参考訳（メタデータ） (2024-09-15T08:43:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。