論文の概要: SMF: Template-free and Rig-free Animation Transfer using Kinetic Codes
- arxiv url: http://arxiv.org/abs/2504.04831v1
- Date: Mon, 07 Apr 2025 08:42:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-08 14:09:46.287565
- Title: SMF: Template-free and Rig-free Animation Transfer using Kinetic Codes
- Title（参考訳）: SMF:動的符号を用いたテンプレートフリー・リグフリーアニメーション転送
- Authors: Sanjeev Muralikrishnan, Niladri Shekhar Dutt, Niloy J. Mitra,
- Abstract要約: アニメーションリグは、特定のキャラクターメッシュにスパース動作記述を適用して、時間的に一貫性のあるフルボディモーションを生成する。
既存のアプローチには、アノテーション付きトレーニングデータ、テンプレートベースのシェイプオーダへのアクセス、アーティストが設計した変形といった制限が混在している。
本研究では,スパース動作表現を頑健に訓練可能な自己監督型フレームワークとして,自己監督型運動場(SMF)を提案する。
- 参考スコア（独自算出の注目度）: 27.44390031735071
- License:
- Abstract: Animation retargeting involves applying a sparse motion description (e.g., 2D/3D keypoint sequences) to a given character mesh to produce a semantically plausible and temporally coherent full-body motion. Existing approaches come with a mix of restrictions - they require annotated training data, assume access to template-based shape priors or artist-designed deformation rigs, suffer from limited generalization to unseen motion and/or shapes, or exhibit motion jitter. We propose Self-supervised Motion Fields (SMF) as a self-supervised framework that can be robustly trained with sparse motion representations, without requiring dataset specific annotations, templates, or rigs. At the heart of our method are Kinetic Codes, a novel autoencoder-based sparse motion encoding, that exposes a semantically rich latent space simplifying large-scale training. Our architecture comprises dedicated spatial and temporal gradient predictors, which are trained end-to-end. The resultant network, regularized by the Kinetic Codes's latent space, has good generalization across shapes and motions. We evaluated our method on unseen motion sampled from AMASS, D4D, Mixamo, and raw monocular video for animation transfer on various characters with varying shapes and topology. We report a new SoTA on the AMASS dataset in the context of generalization to unseen motion. Project webpage at https://motionfields.github.io/
- Abstract（参考訳）: アニメーション再ターゲティングでは、所定の文字メッシュにスパース動作記述(例えば、2D/3Dキーポイントシーケンス)を適用して、意味論的に妥当で時間的に整合したフルボディ動作を生成する。
既存のアプローチには、注釈付きトレーニングデータ、テンプレートベースの形状やアーティストが設計した変形リグへのアクセス、目に見えない動きや形への限定的な一般化、動きジッタの表示など、さまざまな制限が伴っている。
我々は、データセット固有のアノテーション、テンプレート、リグを必要とせず、スパース動作表現で頑健に訓練できる自己監督型フレームワークとして、自己監督型モーションフィールド(SMF)を提案する。
提案手法の核心となるのが、自動エンコーダをベースとした新しいスパース動作符号化であるKineetic Codesであり、大規模トレーニングを簡素化する意味的にリッチな潜在空間を公開している。
我々のアーキテクチャは、エンドツーエンドにトレーニングされた専用空間勾配予測器と時間勾配予測器から構成される。
結果として得られるネットワークは、Kineetic Codesの潜在空間によって正規化され、形状と運動をまたいだ優れた一般化を持つ。
AMASS,D4D,Mixamo,生単眼ビデオから採取した無見えない動きを,形状やトポロジーの異なる様々なキャラクターにアニメーション転送するための手法として評価した。
本稿では,AMASS データセットに新たな SoTA について報告する。
Project webpage at https://motionfields.github.io/
関連論文リスト
- Motion Diffusion Autoencoders: Enabling Attribute Manipulation in Human Motion Demonstrated on Karate Techniques [3.7402048789277824]
この研究は人間の動きの領域、より正確には空手の動きパターンに焦点を当てている。
人間の動作に対する属性操作を実現するための重要な要件の1つは、適切なポーズ表現である。
我々は、人間の骨格と運動軌跡の切り離しを可能にする新しい回転型ポーズ表現を設計し、同時に元の解剖学の正確な再構築を可能にした。
論文 参考訳（メタデータ） (2025-01-30T20:13:52Z) - Puppet-Master: Scaling Interactive Video Generation as a Motion Prior for Part-Level Dynamics [67.97235923372035]
本稿では,対話型ビデオ生成モデルであるPuppet-Masterについて紹介する。
テスト時には、ひとつのイメージと粗い動き軌跡が与えられた場合、Puppet-Masterは、与えられたドラッグ操作に忠実な現実的な部分レベルの動きを描写したビデオを合成することができる。
論文 参考訳（メタデータ） (2024-08-08T17:59:38Z) - Temporal Residual Jacobians For Rig-free Motion Transfer [45.640576754352104]
データ駆動型モーショントランスファーを実現するための新しい表現としてResidual Temporal Jacobiansを紹介した。
我々の手法は、リギングや中間形状へのアクセスを前提とせず、幾何学的かつ時間的に一貫した動きを発生させ、長い動き列の転送に利用できる。
論文 参考訳（メタデータ） (2024-07-20T18:29:22Z) - VMC: Video Motion Customization using Temporal Attention Adaption for
Text-to-Video Diffusion Models [58.93124686141781]
Video Motion Customization (VMC) はビデオ拡散モデルに時間的注意層を適応させる新しいワンショットチューニング手法である。
本研究では, 連続するフレーム間の残留ベクトルを運動基準として用いた新しい運動蒸留法を提案する。
実世界のさまざまな動きや状況にまたがる最先端のビデオ生成モデルに対して,本手法の有効性を検証した。
論文 参考訳（メタデータ） (2023-12-01T06:50:11Z) - MotionBERT: A Unified Perspective on Learning Human Motion
Representations [46.67364057245364]
本研究では,大規模・異種データ資源から人の動き表現を学習することで,人間中心のビデオタスクに取り組むための統一的な視点を示す。
本研究では,ノイズのある部分的な2次元観測から基礎となる3次元運動を復元するために,モーションエンコーダを訓練する事前学習段階を提案する。
動作エンコーダをDST(Dual-stream Spatio-temporal Transformer)ニューラルネットワークで実装する。
論文 参考訳（メタデータ） (2022-10-12T19:46:25Z) - Masked Motion Encoding for Self-Supervised Video Representation Learning [84.24773072241945]
Masked Motion MMEは、外観情報と動作情報の両方を再構成し、時間的手がかりを探索する新しい事前学習パラダイムである。
物体の位置変化や形状変化を追跡することで、人間が行動を認識することができるという事実を動機として、マスク領域におけるこれらの2種類の変化を表す運動軌跡を再構築することを提案する。
我々のMMEパラダイムで事前訓練されたモデルでは、長期的かつきめ細かな動きの詳細を予測できる。
論文 参考訳（メタデータ） (2022-10-12T11:19:55Z) - MoDi: Unconditional Motion Synthesis from Diverse Data [51.676055380546494]
多様な動きを合成する無条件生成モデルであるMoDiを提案する。
我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。
データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
論文 参考訳（メタデータ） (2022-06-16T09:06:25Z) - NeMF: Neural Motion Fields for Kinematic Animation [6.570955948572252]
巨大な運動空間を時間とともに連続関数として表現するため、Neural Motion Fields (NeMF) と呼ぶ。
我々はニューラルネットワークを用いて、この関数をさまざまな動きの集合として学習する。
私たちは、その汎用性を証明するために、多様な人間の動きデータセットと四重組データセットでモデルをトレーニングします。
論文 参考訳（メタデータ） (2022-06-04T05:53:27Z) - MoCaNet: Motion Retargeting in-the-wild via Canonicalization Networks [77.56526918859345]
そこで本研究では,制御された環境から3次元動作タスクを実現する新しいフレームワークを提案する。
モーションキャプチャシステムや3D再構成手順を使わずに、2Dモノクロ映像のキャラクタから3Dキャラクタへの体動を可能にする。
論文 参考訳（メタデータ） (2021-12-19T07:52:05Z) - Unsupervised Motion Representation Learning with Capsule Autoencoders [54.81628825371412]
Motion Capsule Autoencoder (MCAE) は、2レベル階層のモーションをモデル化する。
MCAEは、新しいTrajectory20モーションデータセットと、様々な現実世界の骨格に基づく人間のアクションデータセットで評価されている。
論文 参考訳（メタデータ） (2021-10-01T16:52:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。