論文の概要: Differential Motion Evolution for Fine-Grained Motion Deformation in Unsupervised Image Animation

• arxiv url: http://arxiv.org/abs/2110.04658v2
• Date: Sun, 19 Nov 2023 21:56:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 21:26:47.760669
• Title: Differential Motion Evolution for Fine-Grained Motion Deformation in Unsupervised Image Animation
• Title（参考訳）: 教師なし画像アニメーションにおける微細粒運動変形の微分運動進化
• Authors: Peirong Liu, Rui Wang, Xuefei Cao, Yipin Zhou, Ashish Shah, Ser-Nam Lim
• Abstract要約: エンドツーエンドの非教師ありモーショントランスファーフレームワークであるDiMEを紹介する。 通常の微分方程式(ODE)で運動伝達を捉えることで、運動場を規則化するのに役立つ。 また、DMEはソースオブジェクトの複数の異なるビューを簡単に利用することができるというODEの考え方を自然に拡張する。
• 参考スコア（独自算出の注目度）: 41.85199775016731
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Image animation is the task of transferring the motion of a driving video to a given object in a source image. While great progress has recently been made in unsupervised motion transfer, requiring no labeled data or domain priors, many current unsupervised approaches still struggle to capture the motion deformations when large motion/view discrepancies occur between the source and driving domains. Under such conditions, there is simply not enough information to capture the motion field properly. We introduce DiME (Differential Motion Evolution), an end-to-end unsupervised motion transfer framework integrating differential refinement for motion estimation. Key findings are twofold: (1) by capturing the motion transfer with an ordinary differential equation (ODE), it helps to regularize the motion field, and (2) by utilizing the source image itself, we are able to inpaint occluded/missing regions arising from large motion changes. Additionally, we also propose a natural extension to the ODE idea, which is that DiME can easily leverage multiple different views of the source object whenever they are available by modeling an ODE per view. Extensive experiments across 9 benchmarks show DiME outperforms the state-of-the-arts by a significant margin and generalizes much better to unseen objects.
• Abstract（参考訳）: 画像アニメーション(英: Image animation)とは、ソース画像中の特定のオブジェクトに駆動ビデオの動きを転送するタスクである。 近年では、ラベル付きデータやドメイン先行を必要とせず、教師なしのモーション転送において大きな進歩が見られるが、現在の教師なしアプローチの多くは、ソースと駆動ドメインの間に大きな動き/ビューの相違が生じても、動きの変形を捉えるのに苦慮している。 このような条件下では、動き場を適切に捉えるのに十分な情報がないだけである。 動き推定のための微分精細化を統合したエンドツーエンドの教師なし動き伝達フレームワークであるdime (differential motion evolution) を紹介する。 主な発見は,(1)常微分方程式(ODE)で運動伝達を捉えることにより,運動場を規則化し,(2)原画像自体を利用することで,大きな運動変化による閉塞/欠落領域を塗布することができる。 さらに、ビュー毎にODEをモデル化することで、DMEはソースオブジェクトの複数の異なるビューを簡単に活用できるというODEの考え方の自然な拡張も提案する。 9つのベンチマークにわたる広範囲な実験により、dimeは最先端のオブジェクトよりもかなりのマージンを上回り、目に見えないオブジェクトをより一般化しています。

関連論文リスト

• Spectral Motion Alignment for Video Motion Transfer using Diffusion Models [54.32923808964701]
  スペクトル運動アライメント(英: Spectral Motion Alignment、SMA)は、フーリエ変換とウェーブレット変換を用いて運動ベクトルを洗練・整列するフレームワークである。 SMAは周波数領域の正規化を取り入れて動きパターンを学習し、全体フレームのグローバルな動きのダイナミクスの学習を容易にする。 大規模な実験は、様々なビデオカスタマイズフレームワーク間の計算効率と互換性を維持しながら、モーション転送を改善するSMAの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-22T14:47:18Z)
• Animate Your Motion: Turning Still Images into Dynamic Videos [58.63109848837741]
  本稿では,マルチモーダル入力を管理する新しい手法であるScene and Motion Conditional Diffusion (SMCD)を紹介する。 SMCDは、認識されたモーションコンディショニングモジュールを組み込み、シーン条件を統合するための様々なアプローチを調査する。 我々のデザインは映像の品質、動きの精度、セマンティック・コヒーレンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2024-03-15T10:36:24Z)
• Fine-Grained Spatiotemporal Motion Alignment for Contrastive Video Representation Learning [16.094271750354835]
  モーション情報は、堅牢で一般化されたビデオ表現に不可欠である。 近年の研究では、ビデオコントラスト学習における動き情報の源として、フレーム差が採用されている。 本稿では,適切な動き情報を導入可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-01T07:03:27Z)
• Priority-Centric Human Motion Generation in Discrete Latent Space [59.401128190423535]
  テキスト・ツー・モーション生成のための優先中心運動離散拡散モデル(M2DM)を提案する。 M2DMは、コード崩壊に対処するために、グローバルな自己注意機構と正規化用語を組み込んでいる。 また、各動きトークンの重要度から決定される革新的なノイズスケジュールを用いた動き離散拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-28T10:40:16Z)
• Human MotionFormer: Transferring Human Motions with Vision Transformers [73.48118882676276]
  人間の動き伝達は、運動合成のためにターゲットの動的人物からソースの静的人物に動きを伝達することを目的としている。 本稿では,世界的および地域的認識を活用して,大規模かつ微妙な動きマッチングを捉える階層型ViTフレームワークであるHuman MotionFormerを提案する。 我々のHuman MotionFormerは、定性的かつ定量的に新しい最先端のパフォーマンスをセットしている。
  論文  参考訳（メタデータ） (2023-02-22T11:42:44Z)
• Learning Variational Motion Prior for Video-based Motion Capture [31.79649766268877]
  ビデオに基づくモーションキャプチャーのための新しい変分動作先行学習手法(VMP)を提案する。 我々のフレームワークはフレームワイドポーズ推定における時間的ジッタリングと障害モードを効果的に削減できる。 公開データセットとインザワイルドビデオの両方を用いた実験により、我々のフレームワークの有効性と一般化能力が実証された。
  論文  参考訳（メタデータ） (2022-10-27T02:45:48Z)
• Motion and Appearance Adaptation for Cross-Domain Motion Transfer [36.98500700394921]
  モーショントランスファーは、ドライブビデオのモーションをソースイメージに転送することを目的としている。 伝統的な単一ドメインの動き伝達アプローチは、しばしば顕著な成果物を生み出す。 クロスドメインな動き伝達のための動き適応(MAA)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-29T03:24:47Z)
• Animation from Blur: Multi-modal Blur Decomposition with Motion Guidance [83.25826307000717]
  単一の動き赤画像から詳細な動きを復元する際の課題について検討する。 既存の解法では、各領域の運動のあいまいさを考慮せずに単一の画像列を推定する。 本稿では、このような動きのあいまいさを明示的に説明し、複数の可算解をシャープな詳細で生成することができる。
  論文  参考訳（メタデータ） (2022-07-20T18:05:53Z)
• Self-supervised Motion Learning from Static Images [36.85209332144106]
  Motion from Static Images (MoSI) はモーション情報をエンコードすることを学ぶ。 MoSIは、下流のデータセットを微調整することなく、大きな動きを持つ領域を発見することができる。 下流のデータセットを微調整することなく、MoSIが大きな動きを持つ領域を発見できることを実証します。
  論文  参考訳（メタデータ） (2021-04-01T03:55:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。