論文の概要: UNIC: Unified In-Context Video Editing

• arxiv url: http://arxiv.org/abs/2506.04216v1
• Date: Wed, 04 Jun 2025 17:57:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.514123
• Title: UNIC: Unified In-Context Video Editing
• Title（参考訳）: UNIC:Unified In-Context Video Editing
• Authors: Zixuan Ye, Xuanhua He, Quande Liu, Qiulin Wang, Xintao Wang, Pengfei Wan, Di Zhang, Kun Gai, Qifeng Chen, Wenhan Luo,
• Abstract要約: UNIC(Unified In-Context Video Editing)は、単一のモデル内でさまざまなビデオ編集タスクをコンテキスト内で統一するフレームワークである。 本稿では,一貫した時間的位置エンコーディングを容易にするタスク認識型RoPEと,モデルの異なる編集タスクを明確に区別する条件バイアスを導入する。 その結果、我々の統合された手法は各タスクにおいて優れた性能を発揮し、創発的なタスク構成能力を示すことがわかった。
• 参考スコア（独自算出の注目度）: 76.76077875564526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in text-to-video generation have sparked interest in generative video editing tasks. Previous methods often rely on task-specific architectures (e.g., additional adapter modules) or dedicated customizations (e.g., DDIM inversion), which limit the integration of versatile editing conditions and the unification of various editing tasks. In this paper, we introduce UNified In-Context Video Editing (UNIC), a simple yet effective framework that unifies diverse video editing tasks within a single model in an in-context manner. To achieve this unification, we represent the inputs of various video editing tasks as three types of tokens: the source video tokens, the noisy video latent, and the multi-modal conditioning tokens that vary according to the specific editing task. Based on this formulation, our key insight is to integrate these three types into a single consecutive token sequence and jointly model them using the native attention operations of DiT, thereby eliminating the need for task-specific adapter designs. Nevertheless, direct task unification under this framework is challenging, leading to severe token collisions and task confusion due to the varying video lengths and diverse condition modalities across tasks. To address these, we introduce task-aware RoPE to facilitate consistent temporal positional encoding, and condition bias that enables the model to clearly differentiate different editing tasks. This allows our approach to adaptively perform different video editing tasks by referring the source video and varying condition tokens "in context", and support flexible task composition. To validate our method, we construct a unified video editing benchmark containing six representative video editing tasks. Results demonstrate that our unified approach achieves superior performance on each task and exhibits emergent task composition abilities.
• Abstract（参考訳）: 近年のテキスト・ビデオ・ジェネレーションの進歩は、生成ビデオ編集タスクへの関心を喚起している。 従来はタスク固有のアーキテクチャ(追加のアダプタモジュールなど)や専用カスタマイズ(DDIMインバージョンなど)に頼っていたため、汎用的な編集条件の統合や様々な編集タスクの統合が制限されていた。 本稿では、単一のモデル内で多様なビデオ編集タスクをコンテキスト内で統一する、シンプルかつ効果的なフレームワークUNICを紹介する。 この統合を実現するために、様々なビデオ編集タスクの入力を、ソースビデオトークン、ノイズの多いビデオラテント、特定の編集タスクに応じて変化するマルチモーダルコンディショニングトークンの3種類のトークンとして表現する。 この定式化に基づいて、これらの3つのタイプを1つの連続トークンシーケンスに統合し、DiTのネイティブアテンション操作を用いて共同でモデル化することで、タスク固有のアダプタ設計の必要性を解消する。 しかし,この枠組み下での直接的タスク統合は困難であり,映像の長さや条件の多様さによるトークン衝突やタスクの混乱を招く。 これらの問題に対処するために,一貫した時間的位置エンコーディングを容易にするタスク認識型RoPEと,モデルの異なる編集タスクを明確に区別する条件バイアスを導入する。 これにより、ソースビデオと異なる条件トークンを"コンテキスト"で参照することで、異なるビデオ編集タスクを適応的に実行し、フレキシブルなタスク構成をサポートすることができる。 提案手法を検証するため、6つの代表映像編集タスクを含む統合映像編集ベンチマークを構築した。 その結果、我々の統合された手法は各タスクにおいて優れた性能を発揮し、創発的なタスク構成能力を示すことがわかった。

関連論文リスト

• VEGGIE: Instructional Editing and Reasoning of Video Concepts with Grounded Generation [67.31149310468801]
  本稿では,VEGGIEを紹介する。VEGGIEは,多様なユーザインストラクションに基づいて,ビデオコンセプトの編集,グラウンド化,推論を統一する,シンプルなエンドツーエンドフレームワークである。 VEGGIEは、異なる編集スキルを持つ指導ビデオ編集において高い性能を示し、汎用モデルとして最高の指導ベースラインを達成している。
  論文  参考訳（メタデータ） (2025-03-18T15:31:12Z)
• V2Edit: Versatile Video Diffusion Editor for Videos and 3D Scenes [29.80140472486948]
  V$2$Editは、インストラクション誘導ビデオと3Dシーン編集のためのトレーニング不要のフレームワークである。 複雑な編集タスクを単純なサブタスクに分解するプログレッシブ戦略を導入する。 V$2$Edit を "render-edit-reconstruct" プロセスで 3D シーン編集に拡張し,高品質な 3D 一貫性のある編集を可能にする。
  論文  参考訳（メタデータ） (2025-03-13T17:59:55Z)
• VACE: All-in-One Video Creation and Editing [18.809248697934397]
  VACEにより、ユーザーは作成と編集のためのオールインワンフレームワーク内でビデオタスクを実行できる。 VACEを導入し、ユーザが作成と編集のためのオールインワンフレームワーク内でビデオタスクを実行できるようにする。
  論文  参考訳（メタデータ） (2025-03-10T17:57:04Z)
• Get In Video: Add Anything You Want to the Video [48.06070610416688]
  ビデオ編集では、特定の現実世界のインスタンスを既存の映像に組み込む能力がますます求められている。 現在のアプローチでは、特定の対象のユニークな視覚的特徴を捉え、自然なインスタンス/シーンの相互作用を保証することができません。 本稿では,ユーザがビデオに取り入れたい視覚的要素を正確に特定するための参照画像を提供する「Get-In-Video Editing」を紹介する。
  論文  参考訳（メタデータ） (2025-03-08T16:27:53Z)
• SPAgent: Adaptive Task Decomposition and Model Selection for General Video Generation and Editing [50.098005973600024]
  セマンティック・プランニング・エージェント(SPAgent)を利用した新しい映像生成・編集システムを提案する。 SPAgentは、多様なユーザ意図と既存の生成モデルの有効利用の間のギャップを埋める。 実験結果は、SPAgentが効果的にモデルをコーディネートしてビデオの生成や編集を行うことを示した。
  論文  参考訳（メタデータ） (2024-11-28T08:07:32Z)
• RACCooN: A Versatile Instructional Video Editing Framework with Auto-Generated Narratives [58.15403987979496]
  本稿では,RACCooNを提案する。 ビデオ生成モデルは、自動生成された物語や指示を取り入れて、生成されたコンテンツの質と精度を高める。 提案フレームワークは,ビデオ・パラグラフ生成,映像コンテンツ編集において優れた多機能性を示し,さらに拡張するために他のSoTAビデオ生成モデルに組み込むことができる。
  論文  参考訳（メタデータ） (2024-05-28T17:46:36Z)
• Emu Edit: Precise Image Editing via Recognition and Generation Tasks [62.95717180730946]
  本稿では,マルチタスク画像編集モデルであるEmu Editについて述べる。 我々は、地域ベースの編集、自由形式の編集、コンピュータビジョンタスクなど、前例のない範囲でマルチタスクに訓練する。 Emu Editは画像インペイント、超解像、編集タスクの構成といった新しいタスクに、ラベル付き例で一般化できることを示す。
  論文  参考訳（メタデータ） (2023-11-16T18:55:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。