論文の概要: Thinking on Shots: Consistent Multi-Shot Video Editing with Agentic Reasoning
- arxiv url: http://arxiv.org/abs/2608.26809v1
- Date: Thu, 27 Aug 2026 08:48:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.315896
- Title: Thinking on Shots: Consistent Multi-Shot Video Editing with Agentic Reasoning
- Title（参考訳）: ショットを考える:エージェント推論による一貫性のあるマルチショットビデオ編集
- Abstract要約: 本稿では,MMLVE(Multi-Instruction Multi-Shot Long-Video Editing)タスクを紹介する。
これら3つの課題に対処するために,Large Language Models (LLM) と Vision-Language Models (VLM) を活用したエージェント編集フレームワークを導入する。
我々のMMLVE-Agentは、既存のクローズドソースSOTAアプローチよりも優れています。
- 参考スコア（独自算出の注目度）: 56.17582599802973
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While generative AI has significantly advanced video editing, existing methods primarily focus on single-shot or short video clips. Editing long videos with multiple instructions remains a formidable challenge. Naive chunking strategies, e.g., fixed-duration segmentation, often lead to entity fragmentation, severe editing hallucinations, and disrupted temporal continuity. To bridge this gap, we introduce the Multi-Instruction Multi-Shot Long-Video Editing (MMLVE) task, which is structured around three core objectives: Cross-Shot Editing Consistency (CSEC), Multi-Instruction Decoupling (MID), and Zero-Destruction on Spatiotemporal Structure (ZDSS). To tackle these three unique challenges, we introduce an agentic editing framework that leverages the synergy of Large Language Models (LLMs) and Vision-Language Models (VLMs) to achieve shot-level video decoupling and precise instruction parsing. Furthermore, to comprehensively evaluate this task, we construct MMLVE-Bench, which is an MMLVE-focused dataset characterized by complex real-world spatiotemporal dynamics, high-density heterogeneous instructions, and sparse, random entity distributions. Three MMLVE-focused evaluation metrics are further exploited to assess the quality of the editing results. Extensive experiments demonstrate that our MMLVE-Agent outperforms existing closed-source SOTA approaches (e.g., Seedance 2.0), successfully eliminating editing hallucinations, preserving cross-shot editing consistency, and attaining seamless spatiotemporal transitions.
- Abstract（参考訳）: 生成AIはビデオ編集が大幅に進歩しているが、既存の手法は主にワンショットまたはショートビデオクリップに焦点を当てている。
複数の命令で長いビデオを編集することは、まだまだ難しい課題だ。
特定のチャンキング戦略、例えば固定デュレーションセグメンテーションは、しばしばエンティティの断片化、激しい編集幻覚、時間的連続性を乱す。
このギャップを埋めるために、クロスショット編集一貫性(CSEC)、マルチインストラクションデカップリング(MID)、時空間構造におけるゼロデストラクション(ZDSS)の3つのコア目標に基づいて構成されるマルチインストラクション・マルチショット長ビデオ編集(MMLVE)タスクを導入する。
これら3つの課題に対処するために,大規模言語モデル(LLM)と視覚言語モデル(VLM)の相乗効果を利用して,ショットレベルのビデオデカップリングと高精度な命令解析を実現するエージェント編集フレームワークを導入する。
さらに、この課題を総合的に評価するために、複雑な実世界の時空間力学、高密度の不均一な命令、スパースなランダムな実体分布を特徴とするMLVE中心のデータセットであるMLVE-Benchを構築した。
さらに,MMLVEに着目した3つの評価指標を用いて,編集結果の質を評価する。
我々のMMLVE-Agentは既存のオープンソースSOTAアプローチ(例:Seedance 2.0)より優れており、編集幻覚の除去、クロスショット編集の一貫性の維持、シームレスな時相遷移を実現している。
関連論文リスト
- MSEditor: Toward Consistent Multi-Shot Video Editing [46.964066826513374]
我々は、一貫したマルチショットビデオ編集用に設計された最初のフレームワークであるMSEditorを提案する。
高品質なマルチショットトレーニングデータの不足を克服するため、既存のマルチビュービデオデータセットを再利用して、堅牢なクロスショット監視を実現する。
累積誤差を効果的に軽減し、長時間の時間的コヒーレンスを確保するため、クロスショット・パッキング・ストラテジーを設計する。
論文 参考訳（メタデータ） (2026-08-18T09:21:58Z) - IDAG-Edit: Multi-Object Video Editing via Instance-Decoupled Attention and Guidance [26.00049090733744]
IDAGEditは、時間的一貫性の強い細粒度マルチオブジェクトビデオ編集のためのトレーニング不要のフレームワークである。
本手法は,最先端のビデオ編集手法に対する時間的安定性と多目的制御性を向上する。
論文 参考訳（メタデータ） (2026-06-20T13:47:39Z) - AnchorEdit: Maintaining Temporal Consistency in Multi-turn Image Editing via Causal Memory [58.322260363577016]
マルチターン画像編集は反復的な設計には不可欠であるが、現在のモデルは連続するステップでアイデンティティのドリフトやエラーの蓄積に悩まされることが多い。
AnchorEditは,高解像度・長期マルチターン編集に特化して設計された,最初の自己回帰(AR)拡散ベースのフレームワークである。
論文 参考訳（メタデータ） (2026-06-10T07:26:31Z) - TIDE: Task-Isolated Diffusion for Unified Video Editing and Generation [30.09687573502619]
拡散変換器はビデオ生成と編集の急速な進歩を促しているが、これらの機能は依然としてタスク固有のモデルで処理されている。
命令ベースの編集,参照誘導編集,マルチ参照生成を統合した統合フレームワークであるTIDEを提案する。
論文 参考訳（メタデータ） (2026-06-06T17:11:13Z) - Video-MME-v2: Towards the Next Stage in Benchmarks for Comprehensive Video Understanding [98.3098451637867]
Video-MME-v2は、ビデオ理解の堅牢性と忠実さを厳格に評価するために設計された総合的なベンチマークである。
データ品質を保証するため、Video-MME-v2は厳格に制御された人間のアノテーションパイプラインを通して構築される。
論文 参考訳（メタデータ） (2026-04-06T17:59:56Z) - DIRECT: Video Mashup Creation via Hierarchical Multi-Agent Planning and Intent-Guided Editing [17.53577850169204]
ビデオマッシュアップ作成は、既存の映像を再構成して、魅力的なオーディオ視覚体験を作り出す複雑なビデオ編集パラダイムである。
マルチモーダルコヒーレンシー満足度問題(MMCSP)としてビデオマッシュアップ生成を定式化し,DIRECTフレームワークを提案する。
階層的なマルチエージェントフレームワークは,この課題を3つのカスケードレベルに分解する。ソースを意識したグローバルな構造アンカーのためのスクリーンライタ,適応的な編集意図とガイダンスをインスタンス化するディレクタ,微粒な最適化によるインテントガイド付きショットシーケンス編集のためのエディタ。
論文 参考訳（メタデータ） (2026-04-06T17:26:04Z) - DCDM: Divide-and-Conquer Diffusion Models for Consistency-Preserving Video Generation [77.89090846233906]
我々はDivide-and-Conquer Diffusion Model (DCDM)と呼ばれるシステムレベルのフレームワークを提案する。
DCDMは、統合されたビデオ生成バックボーンを共有しながら、ビデオ一貫性モデリングを3つの専用コンポーネントに分解する。
我々は,AAAI'26におけるCVMコンペティションのテストセットにおけるフレームワークの検証を行い,提案手法がこれらの課題に効果的に対処できることを実証した。
論文 参考訳（メタデータ） (2026-02-14T07:02:36Z) - ERMV: Editing 4D Robotic Multi-view images to enhance embodied agents [14.75400720374728]
ERMV(Robotic Multi-View 4D data framework)は、単一フレームの編集とロボットの状態条件に基づいて、全マルチビューシーケンスを効率的に編集する。
創発されたデータは、シミュレーションと実世界の両方の環境でモデルの堅牢性とガイダンスを著しく向上させる。
論文 参考訳（メタデータ） (2025-07-23T12:41:11Z) - MAKIMA: Tuning-free Multi-Attribute Open-domain Video Editing via Mask-Guided Attention Modulation [55.101611012677616]
拡散ベースのテキスト・トゥ・イメージ(T2I)モデルは,グローバルビデオ編集タスクにおいて顕著な結果を示した。
我々は、オープンドメインビデオ編集のための事前訓練されたT2Iモデル上に構築された、チューニング不要なMAEフレームワークであるMAKIMAを紹介する。
論文 参考訳（メタデータ） (2024-12-28T02:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。