論文の概要: Unpaired Motion Style Transfer from Video to Animation

• arxiv url: http://arxiv.org/abs/2005.05751v1
• Date: Tue, 12 May 2020 13:21:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 18:49:37.655419
• Title: Unpaired Motion Style Transfer from Video to Animation
• Title（参考訳）: ビデオからアニメーションへの非ペア動作スタイル転送
• Authors: Kfir Aberman, Yijia Weng, Dani Lischinski, Daniel Cohen-Or, Baoquan Chen
• Abstract要約: 1つのアニメーションクリップからもう1つのアニメーションクリップへモーションスタイルを転送する一方で、後者のモーションコンテンツを保存することは、キャラクターアニメーションにおいて長年の課題であった。 本稿では,スタイルラベル付き動きの集合から学習する動きスタイル伝達のための新しいデータ駆動フレームワークを提案する。 本フレームワークでは,映像から直接動作スタイルを抽出し,3次元再構成をバイパスし,これらを3次元入力動作に適用することができる。
• 参考スコア（独自算出の注目度）: 74.15550388701833
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transferring the motion style from one animation clip to another, while preserving the motion content of the latter, has been a long-standing problem in character animation. Most existing data-driven approaches are supervised and rely on paired data, where motions with the same content are performed in different styles. In addition, these approaches are limited to transfer of styles that were seen during training. In this paper, we present a novel data-driven framework for motion style transfer, which learns from an unpaired collection of motions with style labels, and enables transferring motion styles not observed during training. Furthermore, our framework is able to extract motion styles directly from videos, bypassing 3D reconstruction, and apply them to the 3D input motion. Our style transfer network encodes motions into two latent codes, for content and for style, each of which plays a different role in the decoding (synthesis) process. While the content code is decoded into the output motion by several temporal convolutional layers, the style code modifies deep features via temporally invariant adaptive instance normalization (AdaIN). Moreover, while the content code is encoded from 3D joint rotations, we learn a common embedding for style from either 3D or 2D joint positions, enabling style extraction from videos. Our results are comparable to the state-of-the-art, despite not requiring paired training data, and outperform other methods when transferring previously unseen styles. To our knowledge, we are the first to demonstrate style transfer directly from videos to 3D animations - an ability which enables one to extend the set of style examples far beyond motions captured by MoCap systems.
• Abstract（参考訳）: あるアニメーションクリップから別のアニメーションクリップにモーションスタイルを転送する一方で、後者のモーションコンテンツを保存することは、キャラクターアニメーションにおいて長年の課題であった。 既存のデータ駆動アプローチの多くは、同じコンテンツを持つ動きを異なるスタイルで実行するペアデータに依存している。 また、これらのアプローチはトレーニング中に見られたスタイルの転送に限られる。 本稿では,スタイルラベル付き動作の非ペアコレクションから学習し,トレーニング中に観察されない動作スタイルを転送可能にする,モーションスタイル転送のための新しいデータ駆動フレームワークを提案する。 さらに,映像から直接動作スタイルを抽出し,3次元再構成を回避し,3次元入力動作に適用することができる。 我々のスタイル転送ネットワークは、動作をコンテンツとスタイルの2つの潜在コードにエンコードし、それぞれがデコード(合成)プロセスにおいて異なる役割を果たす。 コンテンツコードはいくつかの時間的畳み込み層によって出力動作にデコードされるが、スタイルコードは時間不変適応インスタンス正規化(adain)によって深い特徴を修飾する。 また,コンテンツコードは3次元のジョイント回転からエンコードされるが,3次元と2次元のジョイント位置からスタイルへの埋め込みが一般的であり,ビデオからのスタイル抽出が可能となる。 我々の結果は、ペア化されたトレーニングデータを必要としないにも関わらず、最先端の手法に匹敵する。 私たちの知る限りでは,ビデオから3dアニメーションに直接スタイル転送をデモするのは初めてです – mocapシステムでキャプチャされたモーションをはるかに越えて,スタイル例のセットを拡張することが可能な機能です。

関連論文リスト

• Zero-shot High-fidelity and Pose-controllable Character Animation [89.74818983864832]
  イメージ・ツー・ビデオ(I2V)生成は、単一の画像からビデオシーケンスを作成することを目的としている。 既存のアプローチは、キャラクターの外観の不整合と細部保存の貧弱さに悩まされている。 文字アニメーションのための新しいゼロショットI2VフレームワークPoseAnimateを提案する。
  論文  参考訳（メタデータ） (2024-04-21T14:43:31Z)
• MoST: Motion Style Transformer between Diverse Action Contents [23.62426940733713]
  そこで本研究では,コンテンツからスタイルを効果的に切り離し,ソースモーションから転送されたスタイルを持つ可視動作を生成する新しい動き変換器を提案する。 提案手法は既存の手法より優れており,特に異なる内容のモーションペアにおいて,後処理を必要とせず,非常に高品質であることを示す。
  論文  参考訳（メタデータ） (2024-03-10T14:11:25Z)
• WAIT: Feature Warping for Animation to Illustration video Translation using GANs [12.681919619814419]
  ビデオのスタイリングにおいて,未順序画像の集合を用いる場合の新たな問題を提案する。 映像から映像への翻訳のほとんどは、画像から画像への翻訳モデルに基づいて構築されている。 本稿では,従来の手法の限界を克服する特徴変形層を有する新しいジェネレータネットワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T19:45:24Z)
• MotionBERT: A Unified Perspective on Learning Human Motion Representations [46.67364057245364]
  本研究では,大規模・異種データ資源から人の動き表現を学習することで,人間中心のビデオタスクに取り組むための統一的な視点を示す。 本研究では,ノイズのある部分的な2次元観測から基礎となる3次元運動を復元するために,モーションエンコーダを訓練する事前学習段階を提案する。 動作エンコーダをDST(Dual-stream Spatio-temporal Transformer)ニューラルネットワークで実装する。
  論文  参考訳（メタデータ） (2022-10-12T19:46:25Z)
• Motion Puzzle: Arbitrary Motion Style Transfer by Body Part [6.206196935093063]
  モーション・パズル(Motion Puzzle)は、いくつかの重要な点において最先端のモーション・スタイル・トランスファー・ネットワークである。 本フレームワークは,異なる身体部位に対する複数のスタイル動作からスタイル特徴を抽出し,対象身体部位に局所的に伝達する。 フラッピングやスタッガーのようなダイナミックな動きによって表現されるスタイルを、以前の作品よりもはるかに良く捉えることができる。
  論文  参考訳（メタデータ） (2022-02-10T19:56:46Z)
• Self-Supervised Equivariant Scene Synthesis from Video [84.15595573718925]
  本稿では,映像からシーン表現を学習するフレームワークを提案する。 トレーニング後、画像エンコーディングをリアルタイムで操作して、非表示のコンポーネントの組み合わせを生成することができる。 背景を持つMNISTの移動、2Dビデオゲームのスプライト、ファッションモデリングの3つのデータセットで結果を示す。
  論文  参考訳（メタデータ） (2021-02-01T14:17:31Z)
• Animating Pictures with Eulerian Motion Fields [90.30598913855216]
  静止画をリアルなアニメーションループ映像に変換する完全自動手法を示す。 流れ水や吹く煙など,連続流体運動の場面を対象とする。 本稿では,前向きと後向きの両方に特徴を流し,その結果をブレンドする新しいビデオループ手法を提案する。
  論文  参考訳（メタデータ） (2020-11-30T18:59:06Z)
• 3DSNet: Unsupervised Shape-to-Shape 3D Style Transfer [66.48720190245616]
  本稿では,3次元オブジェクト間のスタイル伝達のための学習に基づくアプローチを提案する。 提案手法は点雲とメッシュの両方で新しい3次元形状を合成することができる。 選択したドメインのマルチモーダルなスタイル分布を暗黙的に学習するために,我々の手法を拡張した。
  論文  参考訳（メタデータ） (2020-11-26T16:59:12Z)
• First Order Motion Model for Image Animation [90.712718329677]
  画像アニメーションは、駆動ビデオの動きに応じて、ソース画像内のオブジェクトがアニメーションされるように、ビデオシーケンスを生成する。 我々のフレームワークは、アニメーションする特定のオブジェクトに関するアノテーションや事前情報を使わずに、この問題に対処します。
  論文  参考訳（メタデータ） (2020-02-29T07:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。