論文の概要: Image Animation with Keypoint Mask

• arxiv url: http://arxiv.org/abs/2112.10457v2
• Date: Tue, 21 Dec 2021 22:15:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-23 12:50:28.446457
• Title: Image Animation with Keypoint Mask
• Title（参考訳）: キーポイントマスクを用いた画像アニメーション
• Authors: Or Toledano, Yanir Marmor, Dov Gertz
• Abstract要約: モーショントランスファー(Motion Transfer)は、特定の駆動ビデオからの動作に応じて、単一のソース画像の将来のビデオフレームを合成するタスクである。 本研究では,キーポイントのヒートマップから,明示的な動作表現を伴わずに構造を抽出する。 そして、画像と映像から構造を抽出し、深部ジェネレータにより映像に応じて映像をワープする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Motion transfer is the task of synthesizing future video frames of a single source image according to the motion from a given driving video. In order to solve it, we face the challenging complexity of motion representation and the unknown relations between the driving video and the source image. Despite its difficulty, this problem attracted great interests from researches at the recent years, with gradual improvements. The goal is often thought as the decoupling of motion and appearance, which is may be solved by extracting the motion from keypoint movement. We chose to tackle the generic, unsupervised setting, where we need to apply animation to any arbitrary object, without any domain specific model for the structure of the input. In this work, we extract the structure from a keypoint heatmap, without an explicit motion representation. Then, the structures from the image and the video are extracted to warp the image according to the video, by a deep generator. We suggest two variants of the structure from different steps in the keypoint module, and show superior qualitative pose and quantitative scores.
• Abstract（参考訳）: モーショントランスファー(motion transfer)は、与えられた駆動ビデオからの動作に応じて、単一のソースイメージの将来のビデオフレームを合成するタスクである。 そこで,本研究では,映像と音源画像の関係が不明な動き表現の難易度と難易度に直面している。 その困難にもかかわらず、この問題は近年の研究から大きな関心を集め、徐々に改善された。 ゴールはしばしば動きと外観の分離と見なされ、キーポイントの動きから動きを抽出することで解決される。 私たちは、任意のオブジェクトにアニメーションを適用し、入力の構造にドメイン固有のモデルを加えることなく、汎用的で教師なしの設定に取り組むことにしました。 本研究では,キーポイントヒートマップから,明示的な運動表現を使わずに構造を抽出する。 そして、画像及び映像からの構造体を抽出して、ディープジェネレータにより、映像に応じて画像に反動させる。 キーポイントモジュールの異なるステップからの2つの構造変種を提案し、質的なポーズと定量的スコアを示す。

関連論文リスト

• AnimateAnything: Consistent and Controllable Animation for Video Generation [24.576022028967195]
  本稿では,AnimateAnythingという統合制御可能なビデオ生成手法を提案する。 様々な条件にまたがる正確で一貫したビデオ操作を容易にする。 実験により,本手法は最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-16T16:36:49Z)
• Controllable Longer Image Animation with Diffusion Models [12.565739255499594]
  動画拡散モデルを用いた動き先行画像を用いたオープンドメイン制御可能な画像アニメーション手法を提案する。 本手法は動画から運動場情報を抽出することにより移動領域の運動方向と速度を正確に制御する。 本稿では,画像アニメーションタスクに特化して最適化されたノイズ再スケジュールに基づく,効率的な長周期ビデオ生成手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:08:00Z)
• VMC: Video Motion Customization using Temporal Attention Adaption for Text-to-Video Diffusion Models [58.93124686141781]
  Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。 本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。 実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-12-01T06:50:11Z)
• Animation from Blur: Multi-modal Blur Decomposition with Motion Guidance [83.25826307000717]
  単一の動き赤画像から詳細な動きを復元する際の課題について検討する。 既存の解法では、各領域の運動のあいまいさを考慮せずに単一の画像列を推定する。 本稿では、このような動きのあいまいさを明示的に説明し、複数の可算解をシャープな詳細で生成することができる。
  論文  参考訳（メタデータ） (2022-07-20T18:05:53Z)
• QS-Craft: Learning to Quantize, Scrabble and Craft for Conditional Human Motion Animation [66.97112599818507]
  本稿では,条件付きヒューマンモーションアニメーション(cHMA)の課題について検討する。 ソースイメージとドライビングビデオが与えられた場合、モデルは新しいフレームシーケンスをアニメーション化するべきである。 新たな3つの重要なステップは、量子化、スクラブル、クラフトだ。
  論文  参考訳（メタデータ） (2022-03-22T11:34:40Z)
• NeuralDiff: Segmenting 3D objects that move in egocentric videos [92.95176458079047]
  観測された3次元シーンを静的な背景と動的前景に分解する問題について検討する。 このタスクは、古典的な背景の減算問題を連想させるが、静的でダイナミックなシーンの全ての部分が大きな動きを生じさせるため、非常に難しい。 特に、自我中心のビデオについて検討し、動的コンポーネントを観察・移動するオブジェクトとアクターにさらに分離する。
  論文  参考訳（メタデータ） (2021-10-19T12:51:35Z)
• Motion Representations for Articulated Animation [34.54825980226596]
  異なる部分からなる関節オブジェクトをアニメーション化するための新しいモーション表現を提案する。 完全に教師なしの方法で、本手法は対象部品を識別し、駆動ビデオで追跡し、主軸を考慮して動きを推定する。 我々のモデルは様々なオブジェクトをアニメートすることができ、既存のベンチマークでは従来のメソッドを大きく上回っています。
  論文  参考訳（メタデータ） (2021-04-22T18:53:56Z)
• Affine-modeled video extraction from a single motion blurred image [3.0080996413230667]
  動き鈍化画像は、露光時間上の複数のシャープフレームの時間平均です。 本研究では,アフィンモーションモデリングを用いた一般化ビデオ抽出手法について報告する。 公開データセットと実際のキャプチャデータの両方の実験は、報告されたテクニックの最先端のパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-08T13:59:14Z)
• Animating Pictures with Eulerian Motion Fields [90.30598913855216]
  静止画をリアルなアニメーションループ映像に変換する完全自動手法を示す。 流れ水や吹く煙など,連続流体運動の場面を対象とする。 本稿では,前向きと後向きの両方に特徴を流し,その結果をブレンドする新しいビデオループ手法を提案する。
  論文  参考訳（メタデータ） (2020-11-30T18:59:06Z)
• First Order Motion Model for Image Animation [90.712718329677]
  画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。 我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
  論文  参考訳（メタデータ） (2020-02-29T07:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。