論文の概要: Hyperbolic Space Learning Method Leveraging Temporal Motion Priors for Human Mesh Recovery
- arxiv url: http://arxiv.org/abs/2510.18256v1
- Date: Tue, 21 Oct 2025 03:26:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:12.839348
- Title: Hyperbolic Space Learning Method Leveraging Temporal Motion Priors for Human Mesh Recovery
- Title(参考訳): 人間のメッシュ回復のための時間運動を優先した双曲型空間学習法
- Authors: Xiang Zhang, Suping Wu, Weibin Qiu, Zhaocheng Jin, Sheng Yang,
- Abstract要約: 3次元メッシュは自然の階層構造を示す(胴体-リムズ-フィンガーのような)
既存のビデオベースの3Dヒューマンメッシュリカバリ手法は通常、ユークリッド空間でメッシュ機能を学ぶ。
ビデオから3次元メッシュを復元するための時間的動きを利用した双曲型空間学習法を提案する。
- 参考スコア(独自算出の注目度): 8.47263476677365
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D human meshes show a natural hierarchical structure (like torso-limbs-fingers). But existing video-based 3D human mesh recovery methods usually learn mesh features in Euclidean space. It's hard to catch this hierarchical structure accurately. So wrong human meshes are reconstructed. To solve this problem, we propose a hyperbolic space learning method leveraging temporal motion prior for recovering 3D human meshes from videos. First, we design a temporal motion prior extraction module. This module extracts the temporal motion features from the input 3D pose sequences and image feature sequences respectively. Then it combines them into the temporal motion prior. In this way, it can strengthen the ability to express features in the temporal motion dimension. Since data representation in non-Euclidean space has been proved to effectively capture hierarchical relationships in real-world datasets (especially in hyperbolic space), we further design a hyperbolic space optimization learning strategy. This strategy uses the temporal motion prior information to assist learning, and uses 3D pose and pose motion information respectively in the hyperbolic space to optimize and learn the mesh features. Then, we combine the optimized results to get an accurate and smooth human mesh. Besides, to make the optimization learning process of human meshes in hyperbolic space stable and effective, we propose a hyperbolic mesh optimization loss. Extensive experimental results on large publicly available datasets indicate superiority in comparison with most state-of-the-art.
- Abstract(参考訳): 3D人間のメッシュは、自然の階層構造(トルソ・リムス・フィンガーのような)を示す。
しかし、既存のビデオベースの3Dヒューマンメッシュリカバリ手法は通常、ユークリッド空間でメッシュ機能を学ぶ。
この階層構造を正確に捉えるのは難しい。
間違った人間のメッシュが再構築されるのです。
そこで本研究では,映像からの3次元メッシュの復元に先立って時間運動を利用した双曲型空間学習手法を提案する。
まず,時間運動事前抽出モジュールを設計する。
このモジュールは、入力された3Dポーズシーケンスと画像特徴シーケンスとから時間運動特徴をそれぞれ抽出する。
そして、それらを前もって時間運動に結合する。
このようにして、時間運動次元の特徴を表現する能力を強化することができる。
非ユークリッド空間におけるデータ表現は、実世界のデータセット(特に双曲空間)における階層的関係を効果的に捉えることが証明されているので、さらに双曲空間最適化学習戦略を設計する。
この戦略は、時間運動事前情報を用いて学習を支援し、3次元のポーズと、双曲空間における動き情報を用いて、メッシュの特徴を最適化し、学習する。
そして、最適化された結果を組み合わせて、正確でスムーズな人間のメッシュを得る。
さらに,双曲的空間における人間のメッシュの最適化学習プロセスを安定かつ効果的にするために,双曲的メッシュ最適化の損失を提案する。
大規模な公開データセットに対する大規模な実験結果は、ほとんどの最先端のデータセットと比較して優位性を示している。
関連論文リスト
- FreeTimeGS: Free Gaussian Primitives at Anytime and Anywhere for Dynamic Scene Reconstruction [64.30050475414947]
FreeTimeGSはガウスのプリミティブを任意の時間と位置で表示できる新しい4D表現である。
我々の表現は強い柔軟性を持ち、ダイナミックな3Dシーンをモデル化する能力を向上させる。
いくつかのデータセットに対する実験結果から,本手法のレンダリング品質は,最近の手法よりも大きなマージンで優れていることが示された。
論文 参考訳(メタデータ) (2025-06-05T17:59:57Z) - Dynamic Hyperbolic Attention Network for Fine Hand-object Reconstruction [76.5549647815413]
ハイパボリック空間,すなわち動的ハイパボリック注意ネットワーク(DHANet)における最初の正確な手オブジェクト再構成手法を提案する。
本手法は,マルチモーダル情報によりメッシュ特性を学習し,手動物体の相互作用をより良くモデル化する。
論文 参考訳(メタデータ) (2023-09-06T13:00:10Z) - SpATr: MoCap 3D Human Action Recognition based on Spiral Auto-encoder and Transformer Network [1.4732811715354455]
SpATr(Spiral Auto-Encoder and Transformer Network)と呼ばれる3次元動作認識のための新しいアプローチを提案する。
スパイラル畳み込みに基づく軽量オートエンコーダを用いて,各3次元メッシュから空間幾何学的特徴を抽出する。
提案手法は,Babel,MoVi,BMLrubの3つの顕著な3次元行動データセットを用いて評価した。
論文 参考訳(メタデータ) (2023-06-30T11:49:00Z) - BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown
Objects [89.2314092102403]
モノクロRGBDビデオシーケンスから未知物体の6-DoF追跡をリアルタイムに行う手法を提案する。
視覚的テクスチャがほとんど欠如している場合でも,任意の剛体オブジェクトに対して有効である。
論文 参考訳(メタデータ) (2023-03-24T17:13:49Z) - Efficient Meshy Neural Fields for Animatable Human Avatars [87.68529918184494]
高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。
最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。
アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
論文 参考訳(メタデータ) (2023-03-23T00:15:34Z) - Spatio-temporal Tendency Reasoning for Human Body Pose and Shape
Estimation from Videos [10.50306784245168]
ビデオから人体ポーズの形状を復元するための時間的傾向推論(STR)ネットワークを提案する。
我々のSTRは、制約のない環境で正確で空間的な動きのシーケンスを学習することを目的としている。
STRは3つのデータセットの最先端と競合し続けています。
論文 参考訳(メタデータ) (2022-10-07T16:09:07Z) - Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。
我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。
そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
論文 参考訳(メタデータ) (2022-04-22T03:17:35Z) - Deep Generative Modelling of Human Reach-and-Place Action [15.38392014421915]
始終位置と終端位置を条件とした人間のリーチ・アンド・プレイス行動の深層生成モデルを提案する。
我々は、このような人間の3Dアクション600のデータセットを取得し、3Dソースとターゲットの2x3-D空間をサンプリングした。
我々の評価には、いくつかの改善、生成的多様性の分析、応用が含まれる。
論文 参考訳(メタデータ) (2020-10-05T21:36:20Z) - A Graph Attention Spatio-temporal Convolutional Network for 3D Human
Pose Estimation in Video [7.647599484103065]
我々は,アテンション機構を用いた局所的グローバル空間情報のモデリングにより,人間の骨格における制約の学習を改善する。
提案手法は, 奥行きのあいまいさと自己閉塞性を効果的に軽減し, 半上半身推定を一般化し, 2次元から3次元映像のポーズ推定における競合性能を実現する。
論文 参考訳(メタデータ) (2020-03-11T14:54:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。