論文の概要: ToMiE: Towards Modular Growth in Enhanced SMPL Skeleton for 3D Human with Animatable Garments
- arxiv url: http://arxiv.org/abs/2410.08082v1
- Date: Thu, 10 Oct 2024 16:25:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-31 05:35:21.281024
- Title: ToMiE: Towards Modular Growth in Enhanced SMPL Skeleton for 3D Human with Animatable Garments
- Title（参考訳）: ToMiE: Animatable Garments を用いた3次元人体用SMPL骨格のモジュール成長に向けて
- Authors: Yifan Zhan, Qingtian Zhu, Muyao Niu, Mingze Ma, Jiancheng Zhao, Zhihang Zhong, Xiao Sun, Yu Qiao, Yinqiang Zheng,
- Abstract要約: 本稿では,骨格の接合木を適応的に拡張するモジュール成長戦略を提案する。
具体的には、ToMiEと呼ばれる手法は、親関節の局在化と外部関節の最適化からなる。
ToMiEは、レンダリング品質だけでなく、成長したジョイントのフリーアニメーションを提供することで、さまざまなケースで他の方法よりも優れています。
- 参考スコア（独自算出の注目度）: 41.23897822168498
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we highlight a critical yet often overlooked factor in most 3D human tasks, namely modeling humans with complex garments. It is known that the parameterized formulation of SMPL is able to fit human skin; while complex garments, e.g., hand-held objects and loose-fitting garments, are difficult to get modeled within the unified framework, since their movements are usually decoupled with the human body. To enhance the capability of SMPL skeleton in response to this situation, we propose a modular growth strategy that enables the joint tree of the skeleton to expand adaptively. Specifically, our method, called ToMiE, consists of parent joints localization and external joints optimization. For parent joints localization, we employ a gradient-based approach guided by both LBS blending weights and motion kernels. Once the external joints are obtained, we proceed to optimize their transformations in SE(3) across different frames, enabling rendering and explicit animation. ToMiE manages to outperform other methods across various cases with garments, not only in rendering quality but also by offering free animation of grown joints, thereby enhancing the expressive ability of SMPL skeleton for a broader range of applications.
- Abstract（参考訳）: 本稿では,多くの3次元ヒューマンタスク,すなわち複雑な衣服を用いた人間のモデリングにおいて,重要かつしばしば見落とされがちな要因を取り上げる。
SMPLのパラメータ化された定式化は人間の皮膚に合うことが知られており、複雑な衣服(例えば、手持ちの物やゆったりした衣服)は、通常、人体と切り離されるため、統一された枠組みの中でモデル化することは困難である。
このような状況に応えてSMPLスケルトンの性能を高めるため,スケルトンとの結合木を適応的に拡張できるモジュラー成長戦略を提案する。
具体的には、ToMiEと呼ばれる手法は、親関節の局在化と外部関節の最適化からなる。
親関節の局所化には、重みと運動カーネルを混合したLBSで導かれる勾配に基づくアプローチを用いる。
外部関節が得られると、異なるフレーム間でSE(3)の変換を最適化し、レンダリングと明示的なアニメーションを可能にします。
ToMiEは、レンダリング品質だけでなく、成長したジョイントのフリーアニメーションを提供することで、様々なケースにおいて、他の手法よりも優れたパフォーマンスを実現し、幅広い用途にSMPLスケルトンを表現できる能力を向上させる。
関連論文リスト
- Multi-Resolution Generative Modeling of Human Motion from Limited Data [3.5229503563299915]
限られたトレーニングシーケンスから人間の動きを合成することを学ぶ生成モデルを提案する。
このモデルは、骨格の畳み込み層とマルチスケールアーキテクチャを統合することで、人間の動きパターンを順応的にキャプチャする。
論文 参考訳（メタデータ） (2024-11-25T15:36:29Z) - Motion-Oriented Compositional Neural Radiance Fields for Monocular Dynamic Human Modeling [10.914612535745789]
本稿では,MoCo-NeRF(MoCo-NeRF)について述べる。
MoCo-NeRFはモノクロビデオのフリービューポイントレンダリングを実現するために設計されたフレームワークである。
論文 参考訳（メタデータ） (2024-07-16T17:59:01Z) - InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。
そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
論文 参考訳（メタデータ） (2023-11-27T14:32:33Z) - Double-chain Constraints for 3D Human Pose Estimation in Images and
Videos [21.42410292863492]
深度情報を欠く2次元のポーズから3Dのポーズを再構築することは、人間の動きの複雑さと多様性のために困難である。
ポーズを制約する新しいモデルであるDouble-chain Graph Convolutional Transformer (DC-GCT)を提案する。
本稿では,DC-GCTが2つの挑戦的データセットに対して最先端の性能を達成することを示す。
論文 参考訳（メタデータ） (2023-08-10T02:41:18Z) - Generalizable Neural Performer: Learning Robust Radiance Fields for
Human Novel View Synthesis [52.720314035084215]
この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。
我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。
GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
論文 参考訳（メタデータ） (2022-04-25T17:14:22Z) - SM-SGE: A Self-Supervised Multi-Scale Skeleton Graph Encoding Framework
for Person Re-Identification [12.347724797202865]
3Dスケルトンによる人物の再識別は、セキュリティクリティカルなアプリケーションにおいて大きな可能性を持つ、新たなトピックである。
既存の方法は、典型的には体と関節の軌跡から身体と運動の特徴を学習する。
本稿では,人体,コンポーネント関係,骨格動態を包括的にモデル化する自己教師付きマルチスケールグラフ(SM-SGE)フレームワークを提案する。
論文 参考訳（メタデータ） (2021-07-05T09:53:08Z) - Revisiting Skeleton-based Action Recognition [107.08112310075114]
PoseC3Dは骨格に基づく行動認識の新しいアプローチであり、代わりに人間の骨格のベース表現としてグラフシーケンスを積み重ねる3Dヒートマップに依存している。
4つの挑戦的なデータセットにおいて、PoseC3Dは、スケルトン上で単独で使用し、RGBモダリティと組み合わせることで、常に優れたパフォーマンスを得る。
論文 参考訳（メタデータ） (2021-04-28T06:32:17Z) - SMPLicit: Topology-aware Generative Model for Clothed People [65.84665248796615]
SMPLicitは、身体のポーズ、形状、衣服の形状を共同で表現する新しい生成モデルである。
実験では,3dスキャンの装着や,服装者の画像の3d再構成にsmplicitが容易に利用できることを示す。
論文 参考訳（メタデータ） (2021-03-11T18:57:03Z) - STAR: Sparse Trained Articulated Human Body Regressor [62.71047277943326]
SMPLよりも定量的に質的に優れているSTARを導入する。
SMPLには、グローバルブレンド形状の使用による膨大な数のパラメータがある。
SMPL因子は体型に依存した変形を示すが、実際には異なる形状の人は異なる変形をする。
SMPLの形状空間はヒトの個体数の変動を捉えるのに十分ではないことを示す。
論文 参考訳（メタデータ） (2020-08-19T16:27:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。