論文の概要: JAVEDIT: Joint Audio-Visual Instruction-Guided Video Editing with Agentic Data Curation
- arxiv url: http://arxiv.org/abs/2606.03168v1
- Date: Tue, 02 Jun 2026 05:26:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:04.775867
- Title: JAVEDIT: Joint Audio-Visual Instruction-Guided Video Editing with Agentic Data Curation
- Title（参考訳）: JAVEDIT: エージェントデータキュレーションによるオーディオ・ビジュアル・インストラクション・ガイド付きビデオ編集
- Abstract要約: JAVEdit-100kは、命令誘導型共同視覚編集に適した、最初の大規模で高品質なデータセットである。
このデータセットは、4つの巧妙に設計された生成パイプラインを通じて厳密に構築され、エージェント・イン・ザ・ループの品質管理機構とシームレスにペアリングされる。
フィールド内での標準化評価の欠如に対処するため、我々は、キュレートされたソースビデオと人間対応の指示を含む包括的なベンチマークであるJAVEditBenchを紹介した。
- 参考スコア（独自算出の注目度）: 100.46371655184585
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While instruction-based video editing has seen significant progress, joint audio-visual editing remains constrained by the absence of dedicated datasets and benchmarks. To bridge this gap, we present JAVEdit-100k, the first large-scale, high-quality dataset tailored for instruction-guided joint audio-visual editing. Focusing on human-centric videos, JAVEdit-100k comprises approximately 100K editing triplets spanning five distinct categories, including subject editing and speech editing. This dataset is rigorously constructed via four meticulously designed generation pipelines, seamlessly paired with an agent-in-the-loop quality control mechanism. Furthermore, to address the lack of standardized evaluation within the field, we introduce JAVEditBench, a comprehensive benchmark featuring curated source videos and human-aligned instructions across all editing categories. Finally, we propose JAVEdit, a pioneering baseline model for instruction-guided joint audio-visual editing. Experiments show that \model\ outperforms all baselines on five of six evaluation metrics.
- Abstract（参考訳）: 命令ベースのビデオ編集は大きな進歩を遂げているが、専用のデータセットやベンチマークが存在しないため、共同音声・視覚編集は制約を受け続けている。
このギャップを埋めるために、命令誘導型共同音声視覚編集に適した、最初の大規模で高品質なデータセットであるJAVEdit-100kを提案する。
人間中心のビデオに焦点を当てたJAVEdit-100kは、被写体編集や音声編集を含む5つのカテゴリにまたがる、およそ100Kの編集三脚で構成されている。
このデータセットは、4つの巧妙に設計された生成パイプラインを通じて厳密に構築され、エージェント・イン・ザ・ループの品質管理機構とシームレスにペアリングされる。
さらに、フィールド内での標準化評価の欠如に対処するため、全編集カテゴリでキュレートされたソースビデオとヒューマンアラインインストラクションを含む包括的なベンチマークであるJAVEditBenchを紹介した。
最後に,JAVEditを提案する。JAVEditは命令誘導型共同視覚編集のための先駆的なベースラインモデルである。
実験によると、 \model\は6つの評価指標のうち5つですべてのベースラインを上回ります。
関連論文リスト
- RefVideo-6M: A Reliable Reference-Based Dataset for Instructional Video Editing [66.83679558829465]
RefVideo-6Mは、500万のビデオ編集サンプルと100万の画像編集サンプルを含む大規模な参照誘導編集データセットである。
信頼性の高い監視を確保するために、我々のデータセットは、アーティファクトフリーのリアルビデオを編集ターゲットとして扱う構築パイプラインを使用している。
約600万のビジュアル参照を提供し、多様な参照タイプと編集シナリオをカバーしている。
論文 参考訳（メタデータ） (2026-08-26T17:59:19Z) - OmniEdit-Bench: A Comprehensive Benchmark for Instruction-based Video Editing [53.21868575804758]
命令ベースのビデオ編集(IVE)のための包括的かつ構造化されたベンチマークを導入する。
本ベンチマークでは,編集タスクを空間,時間,音声,参照ベースの編集など,複数のビデオ特化次元に分解する。
本研究では,4つの相補的な次元(精度,保存性,リアリズム,一貫性)から編集品質を評価する評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-05T16:58:48Z) - AVE-Compass: Towards Holistic Evaluation for Audio-Video Editing Abilities [38.02927226790559]
145のキュレートされたビデオ、196のオーディオと視覚を結合した編集命令、2688のきめ細かいチェックリスト項目を備えた総合的なベンチマークであるAVE-を紹介した。
チェックリストに基づくMLLM判定と専用のリアリズムを通じて、インテントのインストラクションフォロー、フィデリティ保存、リアリズム、編集を評価し、自動化されたクロスモーダル、ビデオ、オーディオメトリクスで補完する。
AVE-Agentは、複雑な命令を依存サブタスクに分解し、自己回帰とフィードバックによる編集結果を反復的に改善するモジュラー評価フレームワークである。
論文 参考訳（メタデータ） (2026-07-17T12:40:13Z) - CoVEBench: Can Video Editing Models Handle Complex Instructions? [26.871333176496126]
CoVEBenchは、416のキュレートされたソースビデオ、626のマルチポイント編集命令、9,990のきめ細かいチェックリスト項目からなる合成ビデオ編集ベンチマークである。
MLLM-judged命令コンプライアンスとビデオ忠実度によるモデルの評価と、ビデオ品質の自動測定を行う。
論文 参考訳（メタデータ） (2026-06-07T02:29:41Z) - VEFX-Bench: A Holistic Benchmark for Generic Video Editing and Visual Effects [34.23919867305323]
VEFX-Datasetは5,049本の動画編集例を含む人称注釈付きデータセットである。
VEFX-Rewardはビデオ編集品質評価に特化した報酬モデルである。
VEFX-Benchは、編集システムの標準化比較のための300のキュレートされたビデオプロンプトペアのベンチマークである。
論文 参考訳（メタデータ） (2026-04-17T17:28:24Z) - OpenVE-3M: A Large-Scale High-Quality Dataset for Instruction-Guided Video Editing [40.87442780303236]
OpenVE-3Mは、命令ベースのビデオ編集のためのオープンソース、大規模、高品質なデータセットである。
この分野での統一ベンチマークの欠如に対処するため,431組のビデオ編集ペアを含むOpenVE-Benchを構築した。
データセットに基づいてトレーニングされた5BモデルであるOpenVE-Editを提示する。
論文 参考訳（メタデータ） (2025-12-08T18:55:07Z) - In-Context Learning with Unpaired Clips for Instruction-based Video Editing [51.943707933717185]
我々は、命令ベースのビデオ編集のための低コストの事前学習戦略を導入する。
本フレームワークは,まず約100万本のビデオクリップを事前学習し,基本的な編集概念を学習する。
本手法は命令アライメントと視覚的忠実度の両方において既存の命令ベースビデオ編集手法を超越する。
論文 参考訳（メタデータ） (2025-10-16T13:02:11Z) - IVEBench: Modern Benchmark Suite for Instruction-Guided Video Editing Assessment [108.8652018167452]
IVEBenchは、命令誘導ビデオ編集アセスメント用に特別に設計されたベンチマークスイートである。
様々な600の高品質なソースビデオのデータベースからなり、7つのセマンティックディメンションにまたがり、32フレームから1,024フレームの動画をカバーしている。
IVEBenchは、映像品質、命令順守、映像忠実度を含む3次元評価プロトコルを確立する。
論文 参考訳（メタデータ） (2025-10-13T17:27:08Z) - AnyEdit: Mastering Unified High-Quality Image Editing for Any Idea [88.79769371584491]
我々は、総合的なマルチモーダル命令編集データセットであるAnyEditを提示する。
我々は,AnyEditコレクションの多様性と品質を,初期データ多様性,適応編集プロセス,自動編集結果の選択という3つの側面を通じて保証する。
3つのベンチマークデータセットの実験によると、AnyEditは拡散ベースの編集モデルのパフォーマンスを一貫して向上させる。
論文 参考訳（メタデータ） (2024-11-24T07:02:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。