論文の概要: SkelSplat: Robust Multi-view 3D Human Pose Estimation with Differentiable Gaussian Rendering
- arxiv url: http://arxiv.org/abs/2511.08294v1
- Date: Wed, 12 Nov 2025 01:51:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-12 20:17:03.743611
- Title: SkelSplat: Robust Multi-view 3D Human Pose Estimation with Differentiable Gaussian Rendering
- Title(参考訳): SkelSplat: 異なるガウスレンダリングによるロバストなマルチビュー3次元人物位置推定
- Authors: Laura Bragagnolo, Leonardo Barcellona, Stefano Ghidoni,
- Abstract要約: 最先端のマルチビュー手法は、大きな注釈付きデータセットをトレーニングすることで、ビューをまたいだ予測を融合させる。
SkelSplatは,ガウスレンダリングに基づく多視点人間のポーズ推定のための新しいフレームワークである。
- 参考スコア(独自算出の注目度): 6.706168135661958
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurate 3D human pose estimation is fundamental for applications such as augmented reality and human-robot interaction. State-of-the-art multi-view methods learn to fuse predictions across views by training on large annotated datasets, leading to poor generalization when the test scenario differs. To overcome these limitations, we propose SkelSplat, a novel framework for multi-view 3D human pose estimation based on differentiable Gaussian rendering. Human pose is modeled as a skeleton of 3D Gaussians, one per joint, optimized via differentiable rendering to enable seamless fusion of arbitrary camera views without 3D ground-truth supervision. Since Gaussian Splatting was originally designed for dense scene reconstruction, we propose a novel one-hot encoding scheme that enables independent optimization of human joints. SkelSplat outperforms approaches that do not rely on 3D ground truth in Human3.6M and CMU, while reducing the cross-dataset error up to 47.8% compared to learning-based methods. Experiments on Human3.6M-Occ and Occlusion-Person demonstrate robustness to occlusions, without scenario-specific fine-tuning. Our project page is available here: https://skelsplat.github.io.
- Abstract(参考訳): 拡張現実や人間とロボットの相互作用といった応用には,正確な3次元ポーズ推定が不可欠である。
最先端のマルチビュー手法は、大きな注釈付きデータセットをトレーニングすることで、ビューをまたいだ予測を融合させることを学び、テストシナリオが異なる場合、一般化が不十分になる。
これらの制約を克服するために,微分ガウスレンダリングに基づく多視点人間のポーズ推定のための新しいフレームワークであるSkelSplatを提案する。
人間のポーズは3Dガウシアンの骨格としてモデル化されており、1つ1つの関節で、異なるレンダリングによって最適化され、3Dの地平の監督なしに任意のカメラビューのシームレスな融合を可能にする。
ガウシアン・スプレイティングはもともと密集したシーン再構築のために設計されたため,人間の関節を独立に最適化できる新しいワンホット符号化方式を提案する。
SkelSplatは、Human3.6MとCMUの3D基底真理に依存しないアプローチよりも優れており、学習ベースの手法と比較して、データセット間の誤差を47.8%まで低減している。
Human3.6M-OccとOcclusion-Personの実験は、シナリオ特異的な微調整なしで、オクルージョンに対して堅牢性を示す。
私たちのプロジェクトページはこちらで公開されている。
関連論文リスト
- GPS-Gaussian+: Generalizable Pixel-wise 3D Gaussian Splatting for Real-Time Human-Scene Rendering from Sparse Views [67.34073368933814]
スパースビューカメラ設定下での高解像度画像レンダリングのための一般化可能なガウススプラッティング手法を提案する。
我々は,人間のみのデータや人景データに基づいてガウスパラメータ回帰モジュールをトレーニングし,深度推定モジュールと共同で2次元パラメータマップを3次元空間に引き上げる。
いくつかのデータセットに対する実験により、我々の手法はレンダリング速度を超越しながら最先端の手法より優れていることが示された。
論文 参考訳(メタデータ) (2024-11-18T08:18:44Z) - No Pose, No Problem: Surprisingly Simple 3D Gaussian Splats from Sparse Unposed Images [100.80376573969045]
NoPoSplatは、多視点画像から3Dガウスアンによってパラメータ化された3Dシーンを再構成できるフィードフォワードモデルである。
提案手法は,推定時にリアルタイムな3次元ガウス再構成を実現する。
この研究は、ポーズフリーの一般化可能な3次元再構成において大きな進歩をもたらし、実世界のシナリオに適用可能であることを示す。
論文 参考訳(メタデータ) (2024-10-31T17:58:22Z) - GST: Precise 3D Human Body from a Single Image with Gaussian Splatting Transformers [23.96688843662126]
単眼画像からポーズ付き3次元モデルを構築することはスポーツ産業において重要な応用である。
人間の3次元ポーズと形状推定を3次元ガウススティング(3DGS)と組み合わせ,ガウスの混合シーンを表現した。
この組み合わせは、高価な拡散モデルや3Dポイントの監督なしに、1つの画像から3次元人間のモデルをほぼリアルタイムで推定できることを示す。
論文 参考訳(メタデータ) (2024-09-06T11:34:24Z) - OccGaussian: 3D Gaussian Splatting for Occluded Human Rendering [55.50438181721271]
表面レンダリングにNeRFを用いた従来手法では,閉鎖領域の復元には1日以上,閉塞領域のレンダリングには数秒を要していた。
OccGaussianは3D Gaussian Splattingをベースとして6分以内でトレーニングが可能で,最大160FPSまでの高品質な人体レンダリングを実現する。
論文 参考訳(メタデータ) (2024-04-12T13:00:06Z) - LiCamPose: Combining Multi-View LiDAR and RGB Cameras for Robust Single-frame 3D Human Pose Estimation [31.651300414497822]
LiCamPoseは、マルチビューRGBとスパースポイントクラウド情報を統合して、単一のフレームで堅牢な3Dポーズを推定するパイプラインである。
LiCamPoseは、2つの公開データセット、1つの合成データセット、1つの挑戦的な自己収集データセットを含む4つのデータセットで評価されている。
論文 参考訳(メタデータ) (2023-12-11T14:30:11Z) - SplatArmor: Articulated Gaussian splatting for animatable humans from
monocular RGB videos [15.74530749823217]
SplatArmorは, 3次元ガウスモデルを用いたパラメータ化ボディモデルの装甲により, 詳細かつアニマタブルな人体モデルを復元する新しい手法である。
我々のアプローチは、人間を標準空間内の3次元ガウスの集合として表現し、その記述は、下層のSMPL幾何学のスキン化を拡張することによって定義される。
ZJU MoCap と People Snapshot のデータセットに魅力的な結果が得られた。
論文 参考訳(メタデータ) (2023-11-17T18:47:07Z) - Shape-aware Multi-Person Pose Estimation from Multi-View Images [47.13919147134315]
提案した粗大なパイプラインは、まず複数のカメラビューからノイズの多い2次元の観測結果を3次元空間に集約する。
最終的なポーズ推定は、高信頼度多視点2次元観測と3次元関節候補をリンクする新しい最適化スキームから得られる。
論文 参考訳(メタデータ) (2021-10-05T20:04:21Z) - Synthetic Training for Monocular Human Mesh Recovery [100.38109761268639]
本稿では,RGB画像と大規模に異なる複数の身体部位の3次元メッシュを推定することを目的とする。
主な課題は、2D画像のすべての身体部分の3Dアノテーションを完備するトレーニングデータがないことである。
本稿では,D2S(Deep-to-scale)投影法を提案する。
論文 参考訳(メタデータ) (2020-10-27T03:31:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。