論文の概要: Qwen-Video-Edit: Instruction-Based Video Editing by Repurposing an Image Editing Model
- arxiv url: http://arxiv.org/abs/2608.14790v2
- Date: Tue, 18 Aug 2026 01:38:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 13:45:32.896329
- Title: Qwen-Video-Edit: Instruction-Based Video Editing by Repurposing an Image Editing Model
- Title（参考訳）: Qwen-Video-Edit: 画像編集モデルの再構築によるインストラクションベースのビデオ編集
- Abstract要約: そこで本研究では,ビデオVAEラテントを直接操作することで,強力な命令ベースの画像編集モデルで映像を編集可能であることを示す。
以上の結果から,ビデオ潜在空間のトレーニングに多大な投資をしているにもかかわらず,フレームごとのラテントは画像領域に十分近いままであり,画像編集の事前転送が最小限に抑えられることが示唆された。
- 参考スコア（独自算出の注目度）: 55.9214783600876
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Instruction-based video editing is commonly built on video-pretrained generative backbones: a video diffusion transformer is adapted, at considerable cost, to condition on a source video and an editing instruction. In this report we explore a different route and show that a strong instruction-based image editing model can edit videos by operating directly on video-VAE latents. Starting from Qwen-Image-Edit, we arrange the latent frames of a Wan~2.1 video VAE as tiles of one large virtual image, reuse the editor's image positional encoding for every tile, and bridge the two latent spaces with a pair of lightweight input/output projections warm-started from the editor's own patchify and unpatchify layers, so that at initialization a (static) video is embedded exactly as an image the model already understands. The whole system is then fine-tuned on the public Ditto-1M editing triplets, and a few denoising steps of Wan~2.2 serve as an optional temporal enhancer. We motivate the design with a chain of zero-training observations: the stock image editor already edits a video presented as a contact sheet; it is indifferent to whether the sheet's tokens come from one joint encode or from per-frame encodes stitched in latent space; and it even edits genuine video latents zero-shot to a clearly recognizable degree, leaving fine-tuning only a fidelity gap to close. Our results suggest that, despite the large investment in training video latent spaces, per-frame video latents remain close enough to the image domain that mature image editing priors transfer with minimal adaptation. Project Page: https://yunpeng1998.github.io/Qwen-Video-Edit-Page Code: https://github.com/yunpeng1998/Qwen-Video-Edit Model: https://huggingface.co/yunpeng1998/Qwen-Video-Edit
- Abstract（参考訳）: ビデオ拡散変換器は、ソースビデオと編集命令の条件にかなりのコストで適応される。
本報告では、異なる経路を探索し、強力な命令ベースの画像編集モデルにより、ビデオ-VAE潜伏者に直接操作することで、映像を編集できることを示す。
Qwen-Image-Edit から、Wan~2.1 ビデオ VAE の潜伏フレームを1つの大きな仮想画像のタイルとして配置し、各タイルに対してエディタのイメージ位置エンコーディングを再利用し、2つの潜伏空間を、エディタ自身のパッチ化および未パッチ化レイヤからウォームスタートした1対の軽量な入出力プロジェクションでブリッジする。
その後、全システムはパブリックなDitto-1M編集三重奏で微調整され、Wan~2.2のいくつかの復調ステップはオプションの時間エンハンサーとして機能する。
ストックイメージエディターは、既にコンタクトシートとして提示された映像を編集し、シートのトークンが1つのジョイントエンコードから来たのか、またはラテント空間で縫合されたフレーム単位のエンコードから来たのか、また、本物のビデオラテントをゼロショットに編集し、微調整はフィデリティギャップのみを閉じたままにする。
以上の結果から,ビデオ潜在空間のトレーニングに多大な投資をしているにもかかわらず,フレームごとのラテントは画像領域に十分近いままであり,画像編集の事前転送が最小限に抑えられることが示唆された。
Project Page: https://yunpeng1998.github.io/Qwen-Video-Edit-Page Code: https://github.com/yunpeng1998/Qwen-Video-Edit Model: https://huggingface.co/yunpeng1998/Qwen-Video-Edit
関連論文リスト
- ViFeEdit: A Video-Free Tuner of Your Video Diffusion Transformer [74.61793196579036]
ビデオ拡散変換器用ビデオフリーチューニングフレームワークViFeEditを提案する。
ViFeEditは2D画像のみに適応した多用途のビデオ生成と編集を実現する。
本手法は,2次元画像データに対する最小限のトレーニングしか行わず,制御可能な映像生成と編集の有望な結果を提供する。
論文 参考訳（メタデータ） (2026-03-16T16:10:46Z) - FREE-Edit: Using Editing-aware Injection in Rectified Flow Models for Zero-shot Image-Driven Video Editing [12.549184989151135]
画像駆動ビデオ編集は、修正された第1フレームから残りのフレームへの編集内容を伝達することを目的としている。
現在の方法は、通常、事前訓練された画像対ビデオ(I2V)モデルを用いてソースビデオからノイズに反転し、編集された第1フレームを使用してサンプリングプロセスをガイドする。
本稿では,各トークンの注入強度を変調する Editing-awaRE (REE) インジェクション法を提案する。
論文 参考訳（メタデータ） (2026-03-01T16:01:44Z) - EasyV2V: A High-quality Instruction-based Video Editing Framework [108.78294392167017]
キャプションemphEasyV2Vは、命令ベースのビデオ編集のためのフレームワークである。
EasyV2Vは、例えば video+text、 video+mask+reference+、最先端のビデオ編集結果などの柔軟な入力で動作する。
論文 参考訳（メタデータ） (2025-12-18T18:59:57Z) - I2VEdit: First-Frame-Guided Video Editing via Image-to-Video Diffusion Models [18.36472998650704]
本稿では,1フレームからビデオ全体への編集を事前学習した画像対ビデオモデルを用いてプロパガンダすることで,画像編集ツールをビデオに適用可能にする,新しい汎用的ソリューションを提案する。
I2VEditと呼ばれる本手法は,編集範囲に応じて映像の視覚的・運動的整合性を適応的に保持する。
論文 参考訳（メタデータ） (2024-05-26T11:47:40Z) - Ground-A-Video: Zero-shot Grounded Video Editing using Text-to-image
Diffusion Models [65.268245109828]
Ground-A-Videoは、マルチ属性ビデオ編集のためのビデオからビデオへの変換フレームワークである。
トレーニング不要な方法で、時間的に一貫した入力ビデオの編集を可能にする。
実験と応用により、Ground-A-Videoのゼロショットキャパシティは、編集精度とフレームの整合性の観点から、他のベースライン手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-10-02T11:28:37Z) - VidEdit: Zero-Shot and Spatially Aware Text-Driven Video Editing [18.24307442582304]
ゼロショットテキストベースのビデオ編集のための新しい方法であるVidEditを紹介する。
実験の結果,VidEditはDAVISデータセット上で最先端の手法より優れていることがわかった。
論文 参考訳（メタデータ） (2023-06-14T19:15:49Z) - Zero-Shot Video Editing Using Off-The-Shelf Image Diffusion Models [68.31777975873742]
ビデオ編集の最近の試みは、トレーニングに大量のテキスト・ビデオデータと計算資源を必要とする。
我々は、ゼロショットビデオ編集のためのシンプルで効果的な方法であるvid2vid-zeroを提案する。
実験と分析は、現実世界のビデオの属性、主題、場所などの編集において有望な結果を示す。
論文 参考訳（メタデータ） (2023-03-30T17:59:25Z) - Edit-A-Video: Single Video Editing with Object-Aware Consistency [49.43316939996227]
本稿では,事前訓練されたTTIモデルと単一のテキスト,ビデオ>ペアのみを付与したビデオ編集フレームワークを提案する。
本フレームワークは,(1)時間モジュールチューニングを付加して2Dモデルを3Dモデルに膨らませること,(2)原動画をノイズに反転させ,対象のテキストプロンプトとアテンションマップインジェクションで編集すること,の2段階からなる。
各種のテキスト・ビデオに対して広範な実験結果を示し,背景整合性,テキストアライメント,ビデオ編集品質の点で,ベースラインに比べて提案手法の優位性を示す。
論文 参考訳（メタデータ） (2023-03-14T14:35:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。