論文の概要: VEGGIE: Instructional Editing and Reasoning of Video Concepts with Grounded Generation

• arxiv url: http://arxiv.org/abs/2503.14350v2
• Date: Wed, 19 Mar 2025 20:33:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 12:15:05.978820
• Title: VEGGIE: Instructional Editing and Reasoning of Video Concepts with Grounded Generation
• Title（参考訳）: VEGGIE:グラウンドドジェネレーションによるビデオコンセプトの教育的編集と推論
• Authors: Shoubin Yu, Difan Liu, Ziqiao Ma, Yicong Hong, Yang Zhou, Hao Tan, Joyce Chai, Mohit Bansal,
• Abstract要約: 本稿では,VEGGIEを紹介する。VEGGIEは,多様なユーザインストラクションに基づいて,ビデオコンセプトの編集,グラウンド化,推論を統一する,シンプルなエンドツーエンドフレームワークである。 VEGGIEは、異なる編集スキルを持つ指導ビデオ編集において高い性能を示し、汎用モデルとして最高の指導ベースラインを達成している。
• 参考スコア（独自算出の注目度）: 67.31149310468801
• License:
• Abstract: Recent video diffusion models have enhanced video editing, but it remains challenging to handle instructional editing and diverse tasks (e.g., adding, removing, changing) within a unified framework. In this paper, we introduce VEGGIE, a Video Editor with Grounded Generation from Instructions, a simple end-to-end framework that unifies video concept editing, grounding, and reasoning based on diverse user instructions. Specifically, given a video and text query, VEGGIE first utilizes an MLLM to interpret user intentions in instructions and ground them to the video contexts, generating frame-specific grounded task queries for pixel-space responses. A diffusion model then renders these plans and generates edited videos that align with user intent. To support diverse tasks and complex instructions, we employ a curriculum learning strategy: first aligning the MLLM and video diffusion model with large-scale instructional image editing data, followed by end-to-end fine-tuning on high-quality multitask video data. Additionally, we introduce a novel data synthesis pipeline to generate paired instructional video editing data for model training. It transforms static image data into diverse, high-quality video editing samples by leveraging Image-to-Video models to inject dynamics. VEGGIE shows strong performance in instructional video editing with different editing skills, outperforming the best instructional baseline as a versatile model, while other models struggle with multi-tasking. VEGGIE also excels in video object grounding and reasoning segmentation, where other baselines fail. We further reveal how the multiple tasks help each other and highlight promising applications like zero-shot multimodal instructional and in-context video editing.
• Abstract（参考訳）: 最近のビデオ拡散モデルではビデオ編集が強化されているが、命令編集や多様なタスク(例えば、追加、削除、変更)を統一されたフレームワークで処理することは依然として困難である。 本稿では,VEGGIEについて紹介する。VEGGIEは,多様なユーザ命令に基づいて,ビデオコンセプトの編集,グラウンド化,推論を統一する,シンプルなエンドツーエンドフレームワークである。 具体的には、ビデオとテキストのクエリが与えられた場合、VEGGIEはまずMLLMを使用して命令でユーザの意図を解釈し、それらをビデオコンテキストにグラウンドし、フレーム固有のグラウンドドタスククエリを生成してピクセル空間応答を生成する。 拡散モデルはこれらのプランをレンダリングし、ユーザの意図に合わせて編集されたビデオを生成する。 まずMLLMとビデオ拡散モデルを大規模画像編集データと整列させ,次いで高品質なマルチタスク映像データに対してエンドツーエンドの微調整を行う。 さらに,モデル学習のためのペア化指導ビデオ編集データを生成する新しいデータ合成パイプラインを提案する。 静的な画像データを、画像から映像へのモデルを利用してダイナミックスを注入することで、多様な高品質のビデオ編集サンプルに変換する。 VEGGIEは、様々な編集スキルを持つ指導ビデオ編集において、多目的モデルとして最高の指導ベースラインを上回り、他のモデルはマルチタスクに苦しむ。 VEGGIEは、他のベースラインが失敗するビデオオブジェクトの接地や推論のセグメンテーションも優れている。 さらに、複数のタスクが相互にどのように役立つかを明らかにし、ゼロショットマルチモーダル命令やテキスト内ビデオ編集のような有望なアプリケーションを強調します。

関連論文リスト

• Señorita-2M: A High-Quality Instruction-based Dataset for General Video Editing by Video Specialists [17.451911831989293]
  高品質なビデオ編集データセットであるSenorita-2Mを紹介する。 高品質で特殊な4つのビデオ編集モデルを構築することで構築される。 編集が不十分なビデオペアを除去するためのフィルタリングパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-02-10T17:58:22Z)
• RACCooN: A Versatile Instructional Video Editing Framework with Auto-Generated Narratives [58.15403987979496]
  本稿では,RACCooNを提案する。 ビデオ生成モデルは、自動生成された物語や指示を取り入れて、生成されたコンテンツの質と精度を高める。 提案フレームワークは,ビデオ・パラグラフ生成,映像コンテンツ編集において優れた多機能性を示し,さらに拡張するために他のSoTAビデオ生成モデルに組み込むことができる。
  論文  参考訳（メタデータ） (2024-05-28T17:46:36Z)
• Reframe Anything: LLM Agent for Open World Video Reframing [0.8424099022563256]
  ビデオリフレーミングのためのビジュアルコンテンツを再構成するAIベースのエージェントであるReframe Any Video Agent (RAVA)を紹介する。 RAVAは、ユーザーの指示やビデオコンテンツを解釈する知覚、アスペクト比やフレーミング戦略を決定する計画、最終映像を作成するための編集ツールを呼び出す実行の3段階からなる。 我々の実験は、AIを利用したビデオ編集ツールとしての可能性を実証し、ビデオの有能なオブジェクト検出と現実世界のリフレーミングタスクにおけるRAVAの有効性を検証した。
  論文  参考訳（メタデータ） (2024-03-10T03:29:56Z)
• VIDiff: Translating Videos via Multi-Modal Instructions with Diffusion Models [96.55004961251889]
  Video Instruction Diffusion (VIDiff) は、幅広いビデオタスク用に設計された統合基盤モデルである。 我々のモデルは,ユーザの指示に基づいて,所望の結果を数秒以内に編集し,翻訳することができる。 様々な入力ビデオや書き起こしに対して,質的かつ定量的に,説得力のある生成結果を提供する。
  論文  参考訳（メタデータ） (2023-11-30T18:59:52Z)
• Ground-A-Video: Zero-shot Grounded Video Editing using Text-to-image Diffusion Models [65.268245109828]
  Ground-A-Videoは、マルチ属性ビデオ編集のためのビデオからビデオへの変換フレームワークである。 トレーニング不要な方法で、時間的に一貫した入力ビデオの編集を可能にする。 実験と応用により、Ground-A-Videoのゼロショットキャパシティは、編集精度とフレームの整合性の観点から、他のベースライン手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-02T11:28:37Z)
• InstructVid2Vid: Controllable Video Editing with Natural Language Instructions [97.17047888215284]
  InstructVid2Vidは、人間の言語命令でガイドされたビデオ編集のためのエンドツーエンドの拡散ベースの方法論である。 我々のアプローチは、自然言語ディレクティブによって案内される映像操作を強化し、サンプルごとの微調整や逆変換の必要性を排除します。
  論文  参考訳（メタデータ） (2023-05-21T03:28:13Z)
• The Anatomy of Video Editing: A Dataset and Benchmark Suite for AI-Assisted Video Editing [90.59584961661345]
  この研究は、AIによるビデオ編集の研究を促進するために、データセットとベンチマークであるビデオ編集の解剖学を導入している。 本ベンチマークスイートでは,映像の自動撮影やビデオ組み立て支援など,視覚効果以外の映像編集作業に重点を置いている。 これらの前線の研究を可能にするために、196176年の映画シーンから採取した150万枚以上のタグと、撮影技術に関する概念を注釈付けした。
  論文  参考訳（メタデータ） (2022-07-20T10:53:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。