論文の概要: First Order Motion Model for Image Animation
- arxiv url: http://arxiv.org/abs/2003.00196v3
- Date: Thu, 1 Oct 2020 15:26:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 20:09:21.797763
- Title: First Order Motion Model for Image Animation
- Title(参考訳): 画像アニメーションのための一階運動モデル
- Authors: Aliaksandr Siarohin, St\'ephane Lathuili\`ere, Sergey Tulyakov, Elisa
Ricci and Nicu Sebe
- Abstract要約: 画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。
我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
- 参考スコア(独自算出の注目度): 90.712718329677
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Image animation consists of generating a video sequence so that an object in
a source image is animated according to the motion of a driving video. Our
framework addresses this problem without using any annotation or prior
information about the specific object to animate. Once trained on a set of
videos depicting objects of the same category (e.g. faces, human bodies), our
method can be applied to any object of this class. To achieve this, we decouple
appearance and motion information using a self-supervised formulation. To
support complex motions, we use a representation consisting of a set of learned
keypoints along with their local affine transformations. A generator network
models occlusions arising during target motions and combines the appearance
extracted from the source image and the motion derived from the driving video.
Our framework scores best on diverse benchmarks and on a variety of object
categories. Our source code is publicly available.
- Abstract(参考訳): 画像アニメーションは、駆動映像の動作に応じてソース画像内のオブジェクトをアニメーションするように映像シーケンスを生成することで構成される。
我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずにこの問題に対処します。
同じカテゴリのオブジェクト(例えば顔、人体)を描写した一連のビデオ(例えば、顔、人体)で訓練すると、この手法はこのクラスのあらゆるオブジェクトに適用できる。
これを実現するために, 自己教師付き定式化を用いて, 外観と動作情報を分離する。
複雑な動きをサポートするために、我々は学習されたキーポイントの集合と局所アフィン変換からなる表現を用いる。
生成ネットワークは、目標動作中に生じる閉塞をモデル化し、ソース画像から抽出した外観と、駆動映像から得られた動きとを結合する。
私たちのフレームワークは、さまざまなベンチマークとさまざまなオブジェクトカテゴリで最高のスコアを獲得します。
ソースコードは公開されています。
関連論文リスト
- MagicAnimate: Temporally Consistent Human Image Animation using
Diffusion Model [74.84435399451573]
本稿では、特定の動きシーケンスに従って、特定の参照アイデンティティのビデオを生成することを目的とした、人間の画像アニメーションタスクについて検討する。
既存のアニメーションは、通常、フレームウォーピング技術を用いて参照画像を目標運動に向けてアニメーションする。
MagicAnimateは,時間的一貫性の向上,参照画像の忠実な保存,アニメーションの忠実性向上を目的とした,拡散に基づくフレームワークである。
論文 参考訳(メタデータ) (2023-11-27T18:32:31Z) - AnimateAnything: Fine-Grained Open Domain Image Animation with Motion
Guidance [13.416296247896042]
本稿では,映像拡散モデルに先立って動きを利用するオープンドメイン画像アニメーション手法を提案する。
本手法では,移動領域の正確な制御と移動速度を実現するため,目標となる運動領域の誘導と運動強度の誘導を導入する。
オープンドメインデータセットを用いた厳密な実験により,本手法の有効性を検証した。
論文 参考訳(メタデータ) (2023-11-21T03:47:54Z) - DynamiCrafter: Animating Open-domain Images with Video Diffusion Priors [63.43133768897087]
オープンドメイン画像をアニメーションビデオに変換する手法を提案する。
鍵となるアイデアは、画像を生成プロセスに組み込むことで、テキストからビデオへの拡散モデルに先立っての動きを活用することである。
提案手法は視覚的に説得力があり、より論理的で自然な動きが得られ、入力画像への適合性が向上する。
論文 参考訳(メタデータ) (2023-10-18T14:42:16Z) - Motion Transformer for Unsupervised Image Animation [37.35527776043379]
画像アニメーションは、駆動ビデオから学んだ動きを用いて、ソースイメージをアニメーションすることを目的としている。
現在の最先端の手法は、通常、運動情報を予測するために畳み込みニューラルネットワーク(CNN)を使用する。
本稿では,視覚変換器をベースとした動き推定器構築の試みである動き変換器を提案する。
論文 参考訳(メタデータ) (2022-09-28T12:04:58Z) - QS-Craft: Learning to Quantize, Scrabble and Craft for Conditional Human
Motion Animation [66.97112599818507]
本稿では,条件付きヒューマンモーションアニメーション(cHMA)の課題について検討する。
ソースイメージとドライビングビデオが与えられた場合、モデルは新しいフレームシーケンスをアニメーション化するべきである。
新たな3つの重要なステップは、量子化、スクラブル、クラフトだ。
論文 参考訳(メタデータ) (2022-03-22T11:34:40Z) - Image Animation with Keypoint Mask [0.0]
モーショントランスファー(Motion Transfer)は、特定の駆動ビデオからの動作に応じて、単一のソース画像の将来のビデオフレームを合成するタスクである。
本研究では,キーポイントのヒートマップから,明示的な動作表現を伴わずに構造を抽出する。
そして、画像と映像から構造を抽出し、深部ジェネレータにより映像に応じて映像をワープする。
論文 参考訳(メタデータ) (2021-12-20T11:35:06Z) - Motion Representations for Articulated Animation [34.54825980226596]
異なる部分からなる関節オブジェクトをアニメーション化するための新しいモーション表現を提案する。
完全に教師なしの方法で、本手法は対象部品を識別し、駆動ビデオで追跡し、主軸を考慮して動きを推定する。
我々のモデルは様々なオブジェクトをアニメートすることができ、既存のベンチマークでは従来のメソッドを大きく上回っています。
論文 参考訳(メタデータ) (2021-04-22T18:53:56Z) - Animating Pictures with Eulerian Motion Fields [90.30598913855216]
静止画をリアルなアニメーションループ映像に変換する完全自動手法を示す。
流れ水や吹く煙など,連続流体運動の場面を対象とする。
本稿では,前向きと後向きの両方に特徴を流し,その結果をブレンドする新しいビデオループ手法を提案する。
論文 参考訳(メタデータ) (2020-11-30T18:59:06Z) - Image Animation with Perturbed Masks [95.94432031144716]
我々は,同じタイプのオブジェクトを描画する駆動ビデオにより,ソースイメージの画像アニメーションのための新しいアプローチを提案する。
我々はポーズモデルの存在を前提とせず、オブジェクトの構造を知ることなく任意のオブジェクトをアニメーション化することができる。
論文 参考訳(メタデータ) (2020-11-13T14:17:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。