論文の概要: QS-Craft: Learning to Quantize, Scrabble and Craft for Conditional Human Motion Animation

• arxiv url: http://arxiv.org/abs/2203.11632v1
• Date: Tue, 22 Mar 2022 11:34:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-23 22:24:04.462943
• Title: QS-Craft: Learning to Quantize, Scrabble and Craft for Conditional Human Motion Animation
• Title（参考訳）: QS-Craft: 条件付きモーションアニメーションのための量子化、スクラブル、クラフトの学習
• Authors: Yuxin Hong and Xuelin Qian and Simian Luo and Xiangyang Xue and Yanwei Fu
• Abstract要約: 本稿では,条件付きヒューマンモーションアニメーション(cHMA)の課題について検討する。 ソースイメージとドライビングビデオが与えられた場合、モデルは新しいフレームシーケンスをアニメーション化するべきである。 新たな3つの重要なステップは、量子化、スクラブル、クラフトだ。
• 参考スコア（独自算出の注目度）: 66.97112599818507
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper studies the task of conditional Human Motion Animation (cHMA). Given a source image and a driving video, the model should animate the new frame sequence, in which the person in the source image should perform a similar motion as the pose sequence from the driving video. Despite the success of Generative Adversarial Network (GANs) methods in image and video synthesis, it is still very challenging to conduct cHMA due to the difficulty in efficiently utilizing the conditional guided information such as images or poses, and generating images of good visual quality. To this end, this paper proposes a novel model of learning to Quantize, Scrabble, and Craft (QS-Craft) for conditional human motion animation. The key novelties come from the newly introduced three key steps: quantize, scrabble and craft. Particularly, our QS-Craft employs transformer in its structure to utilize the attention architectures. The guided information is represented as a pose coordinate sequence extracted from the driving videos. Extensive experiments on human motion datasets validate the efficacy of our model.
• Abstract（参考訳）: 本稿では,条件付きヒューマンモーションアニメーション(cHMA)の課題について検討する。 ソース画像とドライビングビデオが与えられた場合、モデルは新しいフレームシーケンスをアニメーション化し、ソース画像の人物がドライビングビデオのポーズシーケンスと同じような動きをするべきである。 画像合成や映像合成におけるGAN(Generative Adversarial Network)手法の成功にもかかわらず、画像やポーズなどの条件付き情報を効率的に活用し、視覚的品質の高い画像を生成するのが困難であるため、cHMAの実行は依然として非常に困難である。 そこで本研究では,条件付きモーションアニメーションのための学習モデルであるQuantize, Scrabble, and Craft(QS-Craft)を提案する。 新たな3つの重要なステップは、量子化、スクラブル、クラフトだ。 特に当社のQS-Craftでは,アテンションアーキテクチャの活用にトランスフォーマーを使用している。 誘導情報は、駆動映像から抽出されたポーズ座標列として表現される。 ヒトの運動データセットに関する大規模な実験は、我々のモデルの有効性を検証する。

関連論文リスト

• HumanVid: Demystifying Training Data for Camera-controllable Human Image Animation [64.37874983401221]
  人間の画像アニメーションに適した,最初の大規模高品質データセットであるHumanVidを紹介する。 実世界のデータについては、インターネットから大量の実世界のビデオをコンパイルします。 合成データとして,10K3Dアバターを収集し,体形,肌のテクスチャ,衣服などの既存の資産を利用した。
  論文  参考訳（メタデータ） (2024-07-24T17:15:58Z)
• AnimateZoo: Zero-shot Video Generation of Cross-Species Animation via Subject Alignment [64.02822911038848]
  動物アニメーションを作成するため, ゼロショット拡散に基づくビデオジェネレータAnimateZooを提案する。 AnimateZooで使われる主要なテクニックは、2つのステップを含む被写体アライメントです。 我々のモデルは、正確な動き、一貫した外観、高忠実度フレームを特徴とする映像を生成することができる。
  論文  参考訳（メタデータ） (2024-04-07T12:57:41Z)
• MagicAnimate: Temporally Consistent Human Image Animation using Diffusion Model [74.84435399451573]
  本稿では、特定の動きシーケンスに従って、特定の参照アイデンティティのビデオを生成することを目的とした、人間の画像アニメーションタスクについて検討する。 既存のアニメーションは、通常、フレームウォーピング技術を用いて参照画像を目標運動に向けてアニメーションする。 MagicAnimateは,時間的一貫性の向上,参照画像の忠実な保存,アニメーションの忠実性向上を目的とした,拡散に基づくフレームワークである。
  論文  参考訳（メタデータ） (2023-11-27T18:32:31Z)
• Image Animation with Keypoint Mask [0.0]
  モーショントランスファー(Motion Transfer)は、特定の駆動ビデオからの動作に応じて、単一のソース画像の将来のビデオフレームを合成するタスクである。 本研究では,キーポイントのヒートマップから,明示的な動作表現を伴わずに構造を抽出する。 そして、画像と映像から構造を抽出し、深部ジェネレータにより映像に応じて映像をワープする。
  論文  参考訳（メタデータ） (2021-12-20T11:35:06Z)
• Action2video: Generating Videos of Human 3D Actions [31.665831044217363]
  我々は、所定のアクションカテゴリから多様で自然な人間の動きのビデオを生成するという、興味深いが挑戦的な課題に取り組むことを目的としている。 重要な問題は、視覚的な外観で現実的な複数の異なる動き列を合成する能力にある。 Action2motionallyは、所定のアクションカテゴリのもっともらしい3Dポーズシーケンスを生成し、モーション2ビデオによって処理され、レンダリングされ、2Dビデオを形成する。
  論文  参考訳（メタデータ） (2021-11-12T20:20:37Z)
• Render In-between: Motion Guided Video Synthesis for Action Interpolation [53.43607872972194]
  本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。 大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。 私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
  論文  参考訳（メタデータ） (2021-11-01T15:32:51Z)
• First Order Motion Model for Image Animation [90.712718329677]
  画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。 我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
  論文  参考訳（メタデータ） (2020-02-29T07:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。