論文の概要: Motion and Appearance Adaptation for Cross-Domain Motion Transfer
- arxiv url: http://arxiv.org/abs/2209.14529v1
- Date: Thu, 29 Sep 2022 03:24:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 16:19:41.831820
- Title: Motion and Appearance Adaptation for Cross-Domain Motion Transfer
- Title（参考訳）: クロスドメイン運動伝達のための動きと外観適応
- Authors: Borun Xu, Biao Wang, Jinhong Deng, Jiale Tao, Tiezheng Ge, Yuning
Jiang, Wen Li, Lixin Duan
- Abstract要約: モーショントランスファーは、ドライブビデオのモーションをソースイメージに転送することを目的としている。
伝統的な単一ドメインの動き伝達アプローチは、しばしば顕著な成果物を生み出す。
クロスドメインな動き伝達のための動き適応(MAA)手法を提案する。
- 参考スコア（独自算出の注目度）: 36.98500700394921
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Motion transfer aims to transfer the motion of a driving video to a source
image. When there are considerable differences between object in the driving
video and that in the source image, traditional single domain motion transfer
approaches often produce notable artifacts; for example, the synthesized image
may fail to preserve the human shape of the source image (cf . Fig. 1 (a)). To
address this issue, in this work, we propose a Motion and Appearance Adaptation
(MAA) approach for cross-domain motion transfer, in which we regularize the
object in the synthesized image to capture the motion of the object in the
driving frame, while still preserving the shape and appearance of the object in
the source image. On one hand, considering the object shapes of the synthesized
image and the driving frame might be different, we design a shape-invariant
motion adaptation module that enforces the consistency of the angles of object
parts in two images to capture the motion information. On the other hand, we
introduce a structure-guided appearance consistency module designed to
regularize the similarity between the corresponding patches of the synthesized
image and the source image without affecting the learned motion in the
synthesized image. Our proposed MAA model can be trained in an end-to-end
manner with a cyclic reconstruction loss, and ultimately produces a
satisfactory motion transfer result (cf . Fig. 1 (b)). We conduct extensive
experiments on human dancing dataset Mixamo-Video to Fashion-Video and human
face dataset Vox-Celeb to Cufs; on both of these, our MAA model outperforms
existing methods both quantitatively and qualitatively.
- Abstract（参考訳）: モーション転送は、駆動ビデオの動作をソース画像に転送することを目的としている。
駆動ビデオのオブジェクトとソースイメージの間にかなりの違いがある場合、従来の単一ドメインのモーショントランスファーアプローチは、しばしば顕著な成果物を生成し、例えば、合成画像はソースイメージの人間の形を保存できない(cf)。
第1図
(a)。
この問題に対処するため,本研究では,原画像中の物体の形状と外観を保ちながら,合成画像中の物体を正規化して駆動フレーム内の物体の運動をキャプチャする,クロスドメインモーショントランスファーのための動き・外観適応(MAA)アプローチを提案する。
一方,合成画像の物体形状と駆動フレームが異なる可能性があるため,2つの画像の物体部分の角度の整合性を強制する形状不変な運動適応モジュールを設計し,動き情報をキャプチャする。
一方,合成画像の学習動作に影響を与えずに,合成画像の対応するパッチとソース画像との類似性を規則化する構造誘導型外観整合性モジュールを提案する。
提案するmaaモデルは,循環的再構成損失を伴うエンドツーエンドの訓練が可能であり,最終的に良好な運動伝達結果(cf)が得られる。
第1図
(b)。
我々は,人間のダンスデータセットであるMixamo-Video to Fashion-Videoと人間の顔データセットであるVox-Celeb to Cufsについて広範な実験を行った。
関連論文リスト
- Exploring Vision Transformers for 3D Human Motion-Language Models with Motion Patches [12.221087476416056]
動き系列の新しい表現である「動きパッチ」を導入し、移動学習を通して視覚変換器(ViT)をモーションエンコーダとして用いることを提案する。
これらの動きパッチは、運動配列に基づく骨格関節の分割と分類によって作成され、様々な骨格構造に対して堅牢である。
2次元画像データを用いたトレーニングにより得られたViTの事前学習による伝達学習により,動作解析の性能が向上することが判明した。
論文 参考訳（メタデータ） (2024-05-08T02:42:27Z) - Continuous Piecewise-Affine Based Motion Model for Image Animation [45.55812811136834]
画像アニメーションは、動画の駆動によって静的なイメージを生き返らせることを目的としている。
最近の教師なし手法では、キーポイントに基づくアフィンおよび薄板のスプライン変換を用いて、駆動フレーム内の動きをソース画像に転送する。
本研究では,高表現率微分空間における原画像から駆動フレームへの動きをモデル化する。
論文 参考訳（メタデータ） (2024-01-17T11:40:05Z) - Generative Image Dynamics [80.70729090482575]
本研究では,シーン動作に先立って画像空間をモデル化する手法を提案する。
我々の先行研究は、実映像から抽出した動き軌跡の収集から得られたものである。
論文 参考訳（メタデータ） (2023-09-14T17:54:01Z) - Bidirectionally Deformable Motion Modulation For Video-based Human Pose
Transfer [19.5025303182983]
ビデオベースのヒューマンポーズ転送は、ビデオからビデオへの生成タスクであり、一連のターゲットの人間のポーズに基づいて、プレーンソースのヒューマンイメージを識別する。
本稿では,不連続な特徴アライメントとスタイル転送を同時に行うために,適応重み変調を用いた幾何学的カーネルオフセットを用いた新しい変形可能運動変調(DMM)を提案する。
論文 参考訳（メタデータ） (2023-07-15T09:24:45Z) - Human MotionFormer: Transferring Human Motions with Vision Transformers [73.48118882676276]
人間の動き伝達は、運動合成のためにターゲットの動的人物からソースの静的人物に動きを伝達することを目的としている。
本稿では,世界的および地域的認識を活用して,大規模かつ微妙な動きマッチングを捉える階層型ViTフレームワークであるHuman MotionFormerを提案する。
我々のHuman MotionFormerは、定性的かつ定量的に新しい最先端のパフォーマンスをセットしている。
論文 参考訳（メタデータ） (2023-02-22T11:42:44Z) - REMOT: A Region-to-Whole Framework for Realistic Human Motion Transfer [96.64111294772141]
HVMT(Human Video Motion Transfer)は、運転者の動きを模倣した映像を生成することを目的としている。
HVMTの既存の方法は、主にGAN(Generative Adversarial Networks)を利用してワープ操作を行う。
本稿では,GANをベースとした新しい人体移動フレームワークについて述べる。
論文 参考訳（メタデータ） (2022-09-01T14:03:51Z) - Differential Motion Evolution for Fine-Grained Motion Deformation in
Unsupervised Image Animation [41.85199775016731]
エンドツーエンドの非教師ありモーショントランスファーフレームワークであるDiMEを紹介する。
通常の微分方程式(ODE)で運動伝達を捉えることで、運動場を規則化するのに役立つ。
また、DMEはソースオブジェクトの複数の異なるビューを簡単に利用することができるというODEの考え方を自然に拡張する。
論文 参考訳（メタデータ） (2021-10-09T22:44:30Z) - Dual-MTGAN: Stochastic and Deterministic Motion Transfer for
Image-to-Video Synthesis [38.41763708731513]
本稿では,映像データと映像データを入力として取り込むDual Motion Transfer GAN(Dual-MTGAN)を提案する。
我々のDual-MTGANは、決定論的モーショントランスファーとモーションジェネレーションを行うことができる。
提案モデルは、ポーズや顔のランドマークのような事前定義された動作特徴を利用することなく、エンドツーエンドでトレーニングされる。
論文 参考訳（メタデータ） (2021-02-26T06:54:48Z) - Future Video Synthesis with Object Motion Prediction [54.31508711871764]
画像を直接合成するのではなく、複雑なシーンのダイナミクスを理解するように設計されている。
将来のシーンコンポーネントの出現は、背景の非剛性変形と移動物体のアフィン変換によって予測される。
CityscapesとKITTIデータセットの実験結果から、我々のモデルは視覚的品質と精度で最先端のモデルよりも優れています。
論文 参考訳（メタデータ） (2020-04-01T16:09:54Z) - First Order Motion Model for Image Animation [90.712718329677]
画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。
我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
論文 参考訳（メタデータ） (2020-02-29T07:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。