論文の概要: First Order Motion Model for Image Animation

• arxiv url: http://arxiv.org/abs/2003.00196v3
• Date: Thu, 1 Oct 2020 15:26:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 20:09:21.797763
• Title: First Order Motion Model for Image Animation
• Title（参考訳）: 画像アニメーションのための一階運動モデル
• Authors: Aliaksandr Siarohin, St\'ephane Lathuili\`ere, Sergey Tulyakov, Elisa Ricci and Nicu Sebe
• Abstract要約: 画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。 我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
• 参考スコア（独自算出の注目度）: 90.712718329677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image animation consists of generating a video sequence so that an object in a source image is animated according to the motion of a driving video. Our framework addresses this problem without using any annotation or prior information about the specific object to animate. Once trained on a set of videos depicting objects of the same category (e.g. faces, human bodies), our method can be applied to any object of this class. To achieve this, we decouple appearance and motion information using a self-supervised formulation. To support complex motions, we use a representation consisting of a set of learned keypoints along with their local affine transformations. A generator network models occlusions arising during target motions and combines the appearance extracted from the source image and the motion derived from the driving video. Our framework scores best on diverse benchmarks and on a variety of object categories. Our source code is publicly available.
• Abstract（参考訳）: 画像アニメーションは、駆動映像の動作に応じてソース画像内のオブジェクトをアニメーションするように映像シーケンスを生成することで構成される。 我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずにこの問題に対処します。 同じカテゴリのオブジェクト(例えば顔、人体)を描写した一連のビデオ(例えば、顔、人体)で訓練すると、この手法はこのクラスのあらゆるオブジェクトに適用できる。 これを実現するために, 自己教師付き定式化を用いて, 外観と動作情報を分離する。 複雑な動きをサポートするために、我々は学習されたキーポイントの集合と局所アフィン変換からなる表現を用いる。 生成ネットワークは、目標動作中に生じる閉塞をモデル化し、ソース画像から抽出した外観と、駆動映像から得られた動きとを結合する。 私たちのフレームワークは、さまざまなベンチマークとさまざまなオブジェクトカテゴリで最高のスコアを獲得します。 ソースコードは公開されています。

関連論文リスト

• Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics [67.97235923372035]
  本稿では,対話型ビデオ生成モデルであるPuppet-Masterについて紹介する。 テスト時には、ひとつのイメージと粗い動き軌跡が与えられた場合、Puppet-Masterは、与えられたドラッグ操作に忠実な現実的な部分レベルの動きを描写したビデオを合成することができる。
  論文  参考訳（メタデータ） (2024-08-08T17:59:38Z)
• Reenact Anything: Semantic Video Motion Transfer Using Motion-Textual Inversion [9.134743677331517]
  本研究では、動きから外見を遠ざけるために、事前訓練された画像間映像モデルを提案する。 動作テキストインバージョン(Motion-textual Inversion)と呼ばれるこの手法は、画像から映像へのモデルが、主に(相対的な)画像入力から外観を抽出する、という観察を生かしている。 フレームごとの複数のテキスト/画像埋め込みトークンを含むインフレーションされたモーションテキスト埋め込みを操作することにより、高時間運動粒度を実現する。 動作参照ビデオと対象画像の間に空間的アライメントを必要とせず,様々な領域にまたがって一般化し,様々なタスクに適用することができる。
  論文  参考訳（メタデータ） (2024-08-01T10:55:20Z)
• AnimateZoo: Zero-shot Video Generation of Cross-Species Animation via Subject Alignment [64.02822911038848]
  動物アニメーションを作成するため, ゼロショット拡散に基づくビデオジェネレータAnimateZooを提案する。 AnimateZooで使われる主要なテクニックは、2つのステップを含む被写体アライメントです。 我々のモデルは、正確な動き、一貫した外観、高忠実度フレームを特徴とする映像を生成することができる。
  論文  参考訳（メタデータ） (2024-04-07T12:57:41Z)
• DragAPart: Learning a Part-Level Motion Prior for Articulated Objects [67.97235923372035]
  DragAPartは、ドラッグのアクションに応答する同じオブジェクトの新しいイメージを生成するメソッドである。 従来の動作制御ジェネレータと比較して、より優れた部分レベルの動作理解を示す。
  論文  参考訳（メタデータ） (2024-03-22T17:58:59Z)
• MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model [74.84435399451573]
  本稿では、特定の動きシーケンスに従って、特定の参照アイデンティティのビデオを生成することを目的とした、人間の画像アニメーションタスクについて検討する。 既存のアニメーションは、通常、フレームウォーピング技術を用いて参照画像を目標運動に向けてアニメーションする。 MagicAnimateは,時間的一貫性の向上,参照画像の忠実な保存,アニメーションの忠実性向上を目的とした,拡散に基づくフレームワークである。
  論文  参考訳（メタデータ） (2023-11-27T18:32:31Z)
• Image Animation with Keypoint Mask [0.0]
  モーショントランスファー(Motion Transfer)は、特定の駆動ビデオからの動作に応じて、単一のソース画像の将来のビデオフレームを合成するタスクである。 本研究では,キーポイントのヒートマップから,明示的な動作表現を伴わずに構造を抽出する。 そして、画像と映像から構造を抽出し、深部ジェネレータにより映像に応じて映像をワープする。
  論文  参考訳（メタデータ） (2021-12-20T11:35:06Z)
• Motion Representations for Articulated Animation [34.54825980226596]
  異なる部分からなる関節オブジェクトをアニメーション化するための新しいモーション表現を提案する。 完全に教師なしの方法で、本手法は対象部品を識別し、駆動ビデオで追跡し、主軸を考慮して動きを推定する。 我々のモデルは様々なオブジェクトをアニメートすることができ、既存のベンチマークでは従来のメソッドを大きく上回っています。
  論文  参考訳（メタデータ） (2021-04-22T18:53:56Z)
• Image Animation with Perturbed Masks [95.94432031144716]
  我々は,同じタイプのオブジェクトを描画する駆動ビデオにより,ソースイメージの画像アニメーションのための新しいアプローチを提案する。 我々はポーズモデルの存在を前提とせず、オブジェクトの構造を知ることなく任意のオブジェクトをアニメーション化することができる。
  論文  参考訳（メタデータ） (2020-11-13T14:17:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。