論文の概要: Thin-Plate Spline Motion Model for Image Animation

• arxiv url: http://arxiv.org/abs/2203.14367v1
• Date: Sun, 27 Mar 2022 18:40:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-30 10:11:29.964146
• Title: Thin-Plate Spline Motion Model for Image Animation
• Title（参考訳）: 画像アニメーションのための薄板スプライン運動モデル
• Authors: Jian Zhao and Hui Zhang
• Abstract要約: イメージアニメーションは、ドライビングビデオに従って、ソースイメージ内の静的オブジェクトに生命をもたらす。 近年の研究では、事前知識を使わずに、教師なし手法による任意の物体の移動を試みている。 ソース内のオブジェクトと駆動イメージの間に大きなポーズギャップがある場合、現在の教師なしメソッドにとって、これは依然として重要な課題である。
• 参考スコア（独自算出の注目度）: 9.591298403129532
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image animation brings life to the static object in the source image according to the driving video. Recent works attempt to perform motion transfer on arbitrary objects through unsupervised methods without using a priori knowledge. However, it remains a significant challenge for current unsupervised methods when there is a large pose gap between the objects in the source and driving images. In this paper, a new end-to-end unsupervised motion transfer framework is proposed to overcome such issue. Firstly, we propose thin-plate spline motion estimation to produce a more flexible optical flow, which warps the feature maps of the source image to the feature domain of the driving image. Secondly, in order to restore the missing regions more realistically, we leverage multi-resolution occlusion masks to achieve more effective feature fusion. Finally, additional auxiliary loss functions are designed to ensure that there is a clear division of labor in the network modules, encouraging the network to generate high-quality images. Our method can animate a variety of objects, including talking faces, human bodies, and pixel animations. Experiments demonstrate that our method performs better on most benchmarks than the state of the art with visible improvements in pose-related metrics.
• Abstract（参考訳）: イメージアニメーションは、駆動ビデオに従って、ソースイメージ内の静的オブジェクトに生命をもたらす。 近年の研究では、事前知識を使わずに、教師なし手法による任意の物体の移動を試みている。 しかし、ソース内のオブジェクトとイメージの駆動との間に大きなポーズギャップがある場合、現在の教師なしメソッドでは依然として大きな課題である。 本稿では,この問題を解決するために,新しいエンドツーエンドの非教師ありモーショントランスファーフレームワークを提案する。 まず, より柔軟な光流を生成するために, 薄板のスプライン運動推定を提案し, 原画像の特徴地図を駆動画像の特徴領域にゆがめる。 第2に, 欠落領域をより現実的に復元するために, マルチレゾリューション・オクルージョン・マスクを用いてより効果的な特徴融合を実現する。 最後に、ネットワークモジュールに明らかな分業を保証するために補助損失関数が設計され、ネットワークが高品質な画像を生成するように促される。 提案手法は,話し相手や人体,ピクセルアニメーションなど,さまざまな物体をアニメーション化することができる。 実験により,ポーズ関連指標の可視性が向上し,ほとんどのベンチマークで性能が向上することを示した。

関連論文リスト

• DiffUHaul: A Training-Free Method for Object Dragging in Images [78.93531472479202]
  DiffUHaulと呼ばれるオブジェクトドラッグタスクのためのトレーニング不要な手法を提案する。 まず、各認知段階に注意マスキングを適用して、各生成を異なるオブジェクトにまたがってよりゆがみやすくする。 初期のデノナイジングステップでは、ソース画像とターゲット画像の注意特徴を補間して、新しいレイアウトを元の外観とスムーズに融合させる。
  論文  参考訳（メタデータ） (2024-06-03T17:59:53Z)
• Continuous Piecewise-Affine Based Motion Model for Image Animation [45.55812811136834]
  画像アニメーションは、動画の駆動によって静的なイメージを生き返らせることを目的としている。 最近の教師なし手法では、キーポイントに基づくアフィンおよび薄板のスプライン変換を用いて、駆動フレーム内の動きをソース画像に転送する。 本研究では,高表現率微分空間における原画像から駆動フレームへの動きをモデル化する。
  論文  参考訳（メタデータ） (2024-01-17T11:40:05Z)
• Unsupervised Multi-object Segmentation by Predicting Probable Motion Patterns [92.80981308407098]
  手動による監督なしに複数の画像オブジェクトを分割する手法を提案する。 この方法は静止画像からオブジェクトを抽出するが、監視のためにビデオを使用する。 シミュレーションおよび実世界のベンチマークで、最先端の教師なしオブジェクトセグメンテーション性能を示す。
  論文  参考訳（メタデータ） (2022-10-21T17:57:05Z)
• Animation from Blur: Multi-modal Blur Decomposition with Motion Guidance [83.25826307000717]
  単一の動き赤画像から詳細な動きを復元する際の課題について検討する。 既存の解法では、各領域の運動のあいまいさを考慮せずに単一の画像列を推定する。 本稿では、このような動きのあいまいさを明示的に説明し、複数の可算解をシャープな詳細で生成することができる。
  論文  参考訳（メタデータ） (2022-07-20T18:05:53Z)
• The Right Spin: Learning Object Motion from Rotation-Compensated Flow Fields [61.664963331203666]
  人間がどのように動く物体を知覚するかは、コンピュータービジョンにおける長年の研究課題である。 この問題の1つのアプローチは、これらすべての効果をモデル化するためのディープネットワークを教えることである。 運動場からカメラの回転を推定する新しい確率モデルを提案する。
  論文  参考訳（メタデータ） (2022-02-28T22:05:09Z)
• Differential Motion Evolution for Fine-Grained Motion Deformation in Unsupervised Image Animation [41.85199775016731]
  エンドツーエンドの非教師ありモーショントランスファーフレームワークであるDiMEを紹介する。 通常の微分方程式(ODE)で運動伝達を捉えることで、運動場を規則化するのに役立つ。 また、DMEはソースオブジェクトの複数の異なるビューを簡単に利用することができるというODEの考え方を自然に拡張する。
  論文  参考訳（メタデータ） (2021-10-09T22:44:30Z)
• Motion Representations for Articulated Animation [34.54825980226596]
  異なる部分からなる関節オブジェクトをアニメーション化するための新しいモーション表現を提案する。 完全に教師なしの方法で、本手法は対象部品を識別し、駆動ビデオで追跡し、主軸を考慮して動きを推定する。 我々のモデルは様々なオブジェクトをアニメートすることができ、既存のベンチマークでは従来のメソッドを大きく上回っています。
  論文  参考訳（メタデータ） (2021-04-22T18:53:56Z)
• Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
  画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。 本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:45:18Z)
• Cross-Identity Motion Transfer for Arbitrary Objects through Pose-Attentive Video Reassembling [40.20163225821707]
  ソース画像とドライビングビデオが与えられた場合、このネットワークは、ドライビングビデオの動きに応じて、ソース画像中の被写体をアニメーション化する。 注意機構では、学習した音源のキーポイントと駆動画像との密接な類似性が計算される。 自己教師型学習のトレーニングテストの相違を低減するため、新しいクロスアイデンティティトレーニングスキームが導入された。
  論文  参考訳（メタデータ） (2020-07-17T07:21:12Z)
• First Order Motion Model for Image Animation [90.712718329677]
  画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。 我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
  論文  参考訳（メタデータ） (2020-02-29T07:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。