論文の概要: VideoPainter: Any-length Video Inpainting and Editing with Plug-and-Play Context Control

• arxiv url: http://arxiv.org/abs/2503.05639v2
• Date: Mon, 10 Mar 2025 18:56:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 12:20:22.355562
• Title: VideoPainter: Any-length Video Inpainting and Editing with Plug-and-Play Context Control
• Title（参考訳）: VideoPainter: プラグイン・アンド・プレイのコンテキスト制御による任意の長さのビデオ描画と編集
• Authors: Yuxuan Bian, Zhaoyang Zhang, Xuan Ju, Mingdeng Cao, Liangbin Xie, Ying Shan, Qiang Xu,
• Abstract要約: ビデオのインペイントは、腐敗したビデオコンテンツを復元することを目的としている。 マスク付きビデオを処理するための新しいデュアルストリームパラダイムVideoPainterを提案する。 また,任意の長さの映像を描ける新しいターゲット領域ID再サンプリング手法も導入する。
• 参考スコア（独自算出の注目度）: 47.34885131252508
• License:
• Abstract: Video inpainting, which aims to restore corrupted video content, has experienced substantial progress. Despite these advances, existing methods, whether propagating unmasked region pixels through optical flow and receptive field priors, or extending image-inpainting models temporally, face challenges in generating fully masked objects or balancing the competing objectives of background context preservation and foreground generation in one model, respectively. To address these limitations, we propose a novel dual-stream paradigm VideoPainter that incorporates an efficient context encoder (comprising only 6% of the backbone parameters) to process masked videos and inject backbone-aware background contextual cues to any pre-trained video DiT, producing semantically consistent content in a plug-and-play manner. This architectural separation significantly reduces the model's learning complexity while enabling nuanced integration of crucial background context. We also introduce a novel target region ID resampling technique that enables any-length video inpainting, greatly enhancing our practical applicability. Additionally, we establish a scalable dataset pipeline leveraging current vision understanding models, contributing VPData and VPBench to facilitate segmentation-based inpainting training and assessment, the largest video inpainting dataset and benchmark to date with over 390K diverse clips. Using inpainting as a pipeline basis, we also explore downstream applications including video editing and video editing pair data generation, demonstrating competitive performance and significant practical potential. Extensive experiments demonstrate VideoPainter's superior performance in both any-length video inpainting and editing, across eight key metrics, including video quality, mask region preservation, and textual coherence.
• Abstract（参考訳）: 腐敗したビデオコンテンツを復元することを目的としたビデオインペインティングは、かなりの進歩を遂げている。 これらの進歩にもかかわらず、既存の手法では、光学的フローと受容野の先行を通した未マッピング領域の画素の伝播や、画像の描画モデルの拡張は、完全にマスクされたオブジェクトを生成する際の課題に直面したり、背景の保存と前景生成の競合する目的を1つのモデルでそれぞれバランスさせたりする。 このような制約に対処するために,マスク付きビデオの処理やバックボーン対応の背景コンテキストキューを事前に訓練されたビデオDiTに注入するために,効率的なコンテクストエンコーダ(バックボーンパラメータの6%しか構成していない)を組み込んだ新しいデュアルストリームパラダイムVideoPainterを提案する。 このアーキテクチャ分離は、重要な背景コンテキストの微妙な統合を可能にしながら、モデルの学習複雑性を著しく低減します。 また,任意の長さの映像を描ける新しいターゲット領域ID再サンプリング技術を導入し,実用性を大幅に向上させた。 さらに、現在の視覚理解モデルを活用するスケーラブルなデータセットパイプラインを構築し、VPDataとVPBenchに貢献して、セグメンテーションベースのインパインティングトレーニングとアセスメントを促進します。 パイプラインベースとしてインペインティングを用いることで、ビデオ編集やビデオ編集ペアデータ生成、競合性能の実証、実用的な実現可能性など、下流アプリケーションについても検討する。 大規模な実験では、ビデオ品質、マスク領域の保存、テキストコヒーレンスを含む8つの主要な指標において、ビデオパインターがどの長さの動画も塗装と編集の両方で優れたパフォーマンスを示している。

関連論文リスト

• Elevating Flow-Guided Video Inpainting with Reference Generation [50.03502211226332]
  ビデオインパインティング(VI)は、フレーム間で観測可能なコンテンツを効果的に伝播させながら、オリジナルビデオに存在しない新しいコンテンツを同時に生成する必要がある課題である。 本稿では,より進んだ画素伝搬アルゴリズムと組み合わせて,参照生成のための大規模な生成モデルを活用する,堅牢で実用的なVIフレームワークを提案する。 提案手法は,オブジェクト削除のためのフレームレベルの品質を著しく向上するだけでなく,ユーザが提供するテキストプロンプトに基づいて,欠落した領域の新たなコンテンツを合成する。
  論文  参考訳（メタデータ） (2024-12-12T06:13:00Z)
• Video Decomposition Prior: A Methodology to Decompose Videos into Layers [74.36790196133505]
  本稿では,プロのビデオ編集の実践からインスピレーションを得た,VDP以前の新しいビデオ分解手法を提案する。 VDPフレームワークは、ビデオシーケンスを複数のRGBレイヤと関連する不透明度レベルに分解する。 ビデオオブジェクトのセグメンテーション、デハジング、リライティングといったタスクに対処する。
  論文  参考訳（メタデータ） (2024-12-06T10:35:45Z)
• MotionAura: Generating High-Quality and Motion Consistent Videos using Discrete Diffusion [3.7270979204213446]
  ビデオ処理の課題に対処するための4つの重要なコントリビューションを提示する。 まず,3次元逆ベクトル量子化バリエンコエンコオートコーダを紹介する。 次に,テキスト・ビデオ生成フレームワークであるMotionAuraを紹介する。 第3に,スペクトル変換器を用いたデノナイジングネットワークを提案する。 第4に,Sketch Guided Videopaintingのダウンストリームタスクを導入する。
  論文  参考訳（メタデータ） (2024-10-10T07:07:56Z)
• Be-Your-Outpainter: Mastering Video Outpainting through Input-Specific Adaptation [44.92712228326116]
  ビデオのアウトペイントは、入力されたビデオのビューポートの外でビデオコンテンツを生成することを目的とした、難しい作業である。 入力特化適応によるMOTIAマスタリングビデオアウトペイントについて紹介する。 MoTIAは入力特異的適応とパターン認識の露呈という2つの主要なフェーズから構成される。
  論文  参考訳（メタデータ） (2024-03-20T16:53:45Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• Encode-in-Style: Latent-based Video Encoding using StyleGAN2 [0.7614628596146599]
  本稿では,データ効率のよい高品質な映像再生を実現するために,エンドツーエンドの顔画像符号化手法を提案する。 このアプローチは、StyleGAN2イメージインバージョンとマルチステージの非線形遅延空間編集に基づいて、入力ビデオにほぼ匹敵するビデオを生成する。
  論文  参考訳（メタデータ） (2022-03-28T05:44:19Z)
• Attention-guided Temporal Coherent Video Object Matting [78.82835351423383]
  本稿では,時間的コヒーレントなマッチング結果が得られる深層学習に基づくオブジェクトマッチング手法を提案する。 中心となるコンポーネントは、画像マッチングネットワークの強度を最大化するアテンションベースの時間アグリゲーションモジュールである。 本稿では,最先端のビデオオブジェクトセグメンテーションネットワークを微調整することで,トリマップ生成問題を効果的に解決する方法を示す。
  論文  参考訳（メタデータ） (2021-05-24T17:34:57Z)
• A Good Image Generator Is What You Need for High-Resolution Video Synthesis [73.82857768949651]
  現代画像生成装置を用いて高解像度映像のレンダリングを行うフレームワークを提案する。 我々は,映像合成問題を,予め訓練された固定された画像生成装置の潜時空間における軌跡の発見とみなす。 本稿では,コンテンツや動きが絡み合っている所望の軌跡を検出するモーションジェネレータを提案する。
  論文  参考訳（メタデータ） (2021-04-30T15:38:41Z)
• High Fidelity Interactive Video Segmentation Using Tensor Decomposition Boundary Loss Convolutional Tessellations and Context Aware Skip Connections [0.0]
  対話型ビデオセグメンテーションタスクのための高忠実度ディープラーニングアルゴリズム(HyperSeg)を提供する。 我々のモデルは、ダウンサンプリングやプールの手順を使わずに、すべての画像特徴を高解像度で処理し、レンダリングする。 私たちの作業は、VFXパイプラインや医療画像の規律など、幅広いアプリケーション領域で使用することができます。
  論文  参考訳（メタデータ） (2020-11-23T18:21:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。