論文の概要: Self-appearance-aided Differential Evolution for Motion Transfer

• arxiv url: http://arxiv.org/abs/2110.04658v1
• Date: Sat, 9 Oct 2021 22:44:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 17:31:40.123545
• Title: Self-appearance-aided Differential Evolution for Motion Transfer
• Title（参考訳）: 動き伝達のための自己出現支援微分進化
• Authors: Peirong Liu, Rui Wang, Xuefei Cao, Yipin Zhou, Ashish Shah, Maxime Oquab, Camille Couprie, Ser-Nam Lim
• Abstract要約: 画像アニメーションは、ソースイメージ内の静的なオブジェクトに駆動ビデオの動きを転送するが、ソースのアイデンティティは変わらない。 このような大局的な変化を克服する上で有効な3つの手段を紹介した。 我々のフレームワークは、動きの状態が変化するにもかかわらず、ソースのアイデンティティを駆動するのに役立つ追加の参照ビューからの情報を活用できる。
• 参考スコア（独自算出の注目度）: 28.288660126524174
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Image animation transfers the motion of a driving video to a static object in a source image, while keeping the source identity unchanged. Great progress has been made in unsupervised motion transfer recently, where no labelled data or ground truth domain priors are needed. However, current unsupervised approaches still struggle when there are large motion or viewpoint discrepancies between the source and driving images. In this paper, we introduce three measures that we found to be effective for overcoming such large viewpoint changes. Firstly, to achieve more fine-grained motion deformation fields, we propose to apply Neural-ODEs for parametrizing the evolution dynamics of the motion transfer from source to driving. Secondly, to handle occlusions caused by large viewpoint and motion changes, we take advantage of the appearance flow obtained from the source image itself ("self-appearance"), which essentially "borrows" similar structures from other regions of an image to inpaint missing regions. Finally, our framework is also able to leverage the information from additional reference views which help to drive the source identity in spite of varying motion state. Extensive experiments demonstrate that our approach outperforms the state-of-the-arts by a significant margin (~40%), across six benchmarks varying from human faces, human bodies to robots and cartoon characters. Model generality analysis indicates that our approach generalises the best across different object categories as well.
• Abstract（参考訳）: 画像アニメーションは、ソースイメージ内の静的なオブジェクトに駆動ビデオの動きを転送するが、ソースのアイデンティティは変わらない。 最近、ラベル付きデータや地上の真理領域が不要な、教師なしのモーション転送において、大きな進歩があった。 しかし、現在の教師なしのアプローチは、ソース画像と駆動画像の間に大きな動きや視点の相違がある場合に依然として苦戦している。 本稿では,このような大局的な変化を克服する上で有効な3つの対策を提案する。 まず、より微細な運動変形場を実現するために、音源から運転への移動の進化ダイナミクスをパラメータ化するためのニューラル・モデルを提案する。 第2に,大きな視点と動きの変化による咬合に対処するため,画像の他の領域から不明瞭な欠落領域まで,基本的に類似した構造を「ボロー」する源画像自体から得られる外観フロー(「自己出現」)を利用する。 最後に、我々のフレームワークは、異なる動作状態にもかかわらず、ソースのアイデンティティを駆動するのに役立つ追加参照ビューからの情報を活用できます。 広範な実験によって、人間の顔、人体、ロボット、漫画のキャラクターなど6つのベンチマークにおいて、我々のアプローチが最先端(約40%)をかなり上回っていることが示されました。 モデル一般性解析は、我々のアプローチが、異なる対象カテゴリにまたがるベストを一般化することを示している。

関連論文リスト

• Spectral Motion Alignment for Video Motion Transfer using Diffusion Models [54.32923808964701]
  スペクトル運動アライメント(英: Spectral Motion Alignment、SMA)は、フーリエ変換とウェーブレット変換を用いて運動ベクトルを洗練・整列するフレームワークである。 SMAは周波数領域の正規化を取り入れて動きパターンを学習し、全体フレームのグローバルな動きのダイナミクスの学習を容易にする。 大規模な実験は、様々なビデオカスタマイズフレームワーク間の計算効率と互換性を維持しながら、モーション転送を改善するSMAの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-22T14:47:18Z)
• Animate Your Motion: Turning Still Images into Dynamic Videos [58.63109848837741]
  本稿では,マルチモーダル入力を管理する新しい手法であるScene and Motion Conditional Diffusion (SMCD)を紹介する。 SMCDは、認識されたモーションコンディショニングモジュールを組み込み、シーン条件を統合するための様々なアプローチを調査する。 我々のデザインは映像の品質、動きの精度、セマンティック・コヒーレンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2024-03-15T10:36:24Z)
• Fine-Grained Spatiotemporal Motion Alignment for Contrastive Video Representation Learning [16.094271750354835]
  モーション情報は、堅牢で一般化されたビデオ表現に不可欠である。 近年の研究では、ビデオコントラスト学習における動き情報の源として、フレーム差が採用されている。 本稿では,適切な動き情報を導入可能なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-01T07:03:27Z)
• Priority-Centric Human Motion Generation in Discrete Latent Space [59.401128190423535]
  テキスト・ツー・モーション生成のための優先中心運動離散拡散モデル(M2DM)を提案する。 M2DMは、コード崩壊に対処するために、グローバルな自己注意機構と正規化用語を組み込んでいる。 また、各動きトークンの重要度から決定される革新的なノイズスケジュールを用いた動き離散拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-28T10:40:16Z)
• Human MotionFormer: Transferring Human Motions with Vision Transformers [73.48118882676276]
  人間の動き伝達は、運動合成のためにターゲットの動的人物からソースの静的人物に動きを伝達することを目的としている。 本稿では,世界的および地域的認識を活用して,大規模かつ微妙な動きマッチングを捉える階層型ViTフレームワークであるHuman MotionFormerを提案する。 我々のHuman MotionFormerは、定性的かつ定量的に新しい最先端のパフォーマンスをセットしている。
  論文  参考訳（メタデータ） (2023-02-22T11:42:44Z)
• Learning Variational Motion Prior for Video-based Motion Capture [31.79649766268877]
  ビデオに基づくモーションキャプチャーのための新しい変分動作先行学習手法(VMP)を提案する。 我々のフレームワークはフレームワイドポーズ推定における時間的ジッタリングと障害モードを効果的に削減できる。 公開データセットとインザワイルドビデオの両方を用いた実験により、我々のフレームワークの有効性と一般化能力が実証された。
  論文  参考訳（メタデータ） (2022-10-27T02:45:48Z)
• Motion and Appearance Adaptation for Cross-Domain Motion Transfer [36.98500700394921]
  モーショントランスファーは、ドライブビデオのモーションをソースイメージに転送することを目的としている。 伝統的な単一ドメインの動き伝達アプローチは、しばしば顕著な成果物を生み出す。 クロスドメインな動き伝達のための動き適応(MAA)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-29T03:24:47Z)
• Animation from Blur: Multi-modal Blur Decomposition with Motion Guidance [83.25826307000717]
  単一の動き赤画像から詳細な動きを復元する際の課題について検討する。 既存の解法では、各領域の運動のあいまいさを考慮せずに単一の画像列を推定する。 本稿では、このような動きのあいまいさを明示的に説明し、複数の可算解をシャープな詳細で生成することができる。
  論文  参考訳（メタデータ） (2022-07-20T18:05:53Z)
• Self-supervised Motion Learning from Static Images [36.85209332144106]
  Motion from Static Images (MoSI) はモーション情報をエンコードすることを学ぶ。 MoSIは、下流のデータセットを微調整することなく、大きな動きを持つ領域を発見することができる。 下流のデータセットを微調整することなく、MoSIが大きな動きを持つ領域を発見できることを実証します。
  論文  参考訳（メタデータ） (2021-04-01T03:55:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。