論文の概要: VideoAnydoor: High-fidelity Video Object Insertion with Precise Motion Control

• arxiv url: http://arxiv.org/abs/2501.01427v2
• Date: Mon, 06 Jan 2025 14:21:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 13:45:23.871728
• Title: VideoAnydoor: High-fidelity Video Object Insertion with Precise Motion Control
• Title（参考訳）: VideoAnydoor:精密モーション制御による高忠実度ビデオオブジェクト挿入
• Authors: Yuanpeng Tu, Hao Luo, Xi Chen, Sihui Ji, Xiang Bai, Hengshuang Zhao,
• Abstract要約: VideoAnydoorは、高忠実度ディテール保存と正確なモーションコントロールを備えたゼロショットビデオオブジェクト挿入フレームワークである。 詳細な外観を保ちながら、微粒な動き制御をサポートするため、我々は画素ワーパーを設計する。
• 参考スコア（独自算出の注目度）: 66.66226299852559
• License:
• Abstract: Despite significant advancements in video generation, inserting a given object into videos remains a challenging task. The difficulty lies in preserving the appearance details of the reference object and accurately modeling coherent motions at the same time. In this paper, we propose VideoAnydoor, a zero-shot video object insertion framework with high-fidelity detail preservation and precise motion control. Starting from a text-to-video model, we utilize an ID extractor to inject the global identity and leverage a box sequence to control the overall motion. To preserve the detailed appearance and meanwhile support fine-grained motion control, we design a pixel warper. It takes the reference image with arbitrary key-points and the corresponding key-point trajectories as inputs. It warps the pixel details according to the trajectories and fuses the warped features with the diffusion U-Net, thus improving detail preservation and supporting users in manipulating the motion trajectories. In addition, we propose a training strategy involving both videos and static images with a weighted loss to enhance insertion quality. VideoAnydoor demonstrates significant superiority over existing methods and naturally supports various downstream applications (e.g., talking head generation, video virtual try-on, multi-region editing) without task-specific fine-tuning.
• Abstract（参考訳）: ビデオ生成の大幅な進歩にもかかわらず、特定のオブジェクトをビデオに挿入することは難しい課題だ。 この難しさは、参照対象の外観の詳細を保存し、コヒーレントな動きを同時に正確にモデル化することにある。 本稿では,高忠実度ディテール保存と高精度なモーション制御を備えたゼロショットビデオオブジェクト挿入フレームワークであるVideoAnydoorを提案する。 テキストからビデオまでのモデルから、ID抽出器を用いてグローバルなアイデンティティを注入し、ボックスシーケンスを利用して全体の動きを制御する。 詳細な外観を保ちながら、微粒な動き制御をサポートするため、我々は画素ワーパーを設計する。 任意のキーポイントを持つ参照イメージと、対応するキーポイントトラジェクトリを入力として取ります。 トラジェクトリに従って画素の詳細をワープし、歪んだ特徴を拡散U-Netで融合させ、ディテールの保存を改善し、ユーザによるモーショントラジェクトリの操作を支援する。 さらに,挿入品質を高めるため,ビデオと静止画像の両方に重み付き損失を伴うトレーニング戦略を提案する。 VideoAnydoorは既存の手法よりも大幅に優れており、タスク固有の微調整なしで様々なダウンストリームアプリケーション(音声ヘッド生成、ビデオバーチャルトライオン、マルチリージョン編集など)を自然にサポートする。

関連論文リスト

• AnimateAnything: Consistent and Controllable Animation for Video Generation [24.576022028967195]
  本稿では,AnimateAnythingという統合制御可能なビデオ生成手法を提案する。 様々な条件にまたがる正確で一貫したビデオ操作を容易にする。 実験により,本手法は最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-16T16:36:49Z)
• Reenact Anything: Semantic Video Motion Transfer Using Motion-Textual Inversion [9.134743677331517]
  本研究では、動きから外見を遠ざけるために、事前訓練された画像間映像モデルを提案する。 動作テキストインバージョン(Motion-textual Inversion)と呼ばれるこの手法は、画像から映像へのモデルが、主に(相対的な)画像入力から外観を抽出する、という観察を生かしている。 フレームごとの複数のテキスト/画像埋め込みトークンを含むインフレーションされたモーションテキスト埋め込みを操作することにより、高時間運動粒度を実現する。 動作参照ビデオと対象画像の間に空間的アライメントを必要とせず,様々な領域にまたがって一般化し,様々なタスクに適用することができる。
  論文  参考訳（メタデータ） (2024-08-01T10:55:20Z)
• WildVidFit: Video Virtual Try-On in the Wild via Image-Based Controlled Diffusion Models [132.77237314239025]
  ビデオ仮想トライオンは、衣料品のアイデンティティを維持し、ソースビデオにおける人のポーズと身体の形に適応する現実的なシーケンスを生成することを目的としている。 従来の画像ベースの手法は、ワープとブレンディングに依存しており、複雑な人間の動きや閉塞に苦しむ。 衣料品の説明や人間の動きを条件とした映像生成のプロセスとして,映像試行を再認識する。 私たちのソリューションであるWildVidFitは、画像ベースで制御された拡散モデルを用いて、一段階の合理化を図っている。
  論文  参考訳（メタデータ） (2024-07-15T11:21:03Z)
• MotionBooth: Motion-Aware Customized Text-to-Video Generation [44.41894050494623]
  MotionBoothは、オブジェクトとカメラの両方の動きを正確に制御して、カスタマイズされた被験者をアニメーションするためのフレームワークである。 オブジェクトの形状や属性を正確に把握するために,テキスト・ビデオ・モデルを効率的に微調整する。 提案手法は,被験者の学習能力を高めるために,被写体領域の損失とビデオ保存損失を示す。
  論文  参考訳（メタデータ） (2024-06-25T17:42:25Z)
• Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
  映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。 イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
  論文  参考訳（メタデータ） (2024-06-21T17:55:05Z)
• VividPose: Advancing Stable Video Diffusion for Realistic Human Image Animation [79.99551055245071]
  時間的安定性を向上するエンドツーエンドパイプラインであるVividPoseを提案する。 識別対応外見制御器は、他の外見の詳細を損なうことなく、追加の顔情報を統合する。 SMPL-Xからの高密度レンダリングマップとスパーススケルトンマップの両方を利用する幾何対応のポーズコントローラ。 VividPoseは、提案したWildデータセットに優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2024-05-28T13:18:32Z)
• Drag-A-Video: Non-rigid Video Editing with Point-based Interaction [63.78538355189017]
  そこで我々はDrag-A-Videoと呼ばれるインタラクティブなポイントベースビデオ操作のための拡散に基づく新しい手法を提案する。 本手法では,入力ビデオの第1フレームのマスクだけでなく,ハンドポイントとターゲットポイントのペアをクリックできる。 映像の内容を正確に修正するために,ビデオの機能を更新するために,新しい映像レベルのモーションインスペクタを用いる。
  論文  参考訳（メタデータ） (2023-12-05T18:05:59Z)
• VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models [58.93124686141781]
  Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。 本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。 実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-12-01T06:50:11Z)
• HumanNeRF: Free-viewpoint Rendering of Moving People from Monocular Video [44.58519508310171]
  我々は、人間の複雑な身体の動きを観察するモノクラービデオで動作する、自由視点レンダリング手法、HumanNeRFを紹介した。 提案手法は,任意のフレームで動画をパージングし,任意のカメラ視点から被写体をレンダリングする。
  論文  参考訳（メタデータ） (2022-01-11T18:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。