論文の概要: Geometric Awareness in Neural Fields for 3D Human Registration
- arxiv url: http://arxiv.org/abs/2312.14024v1
- Date: Thu, 21 Dec 2023 16:54:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-22 14:08:48.727576
- Title: Geometric Awareness in Neural Fields for 3D Human Registration
- Title(参考訳): 3次元人間登録のための神経野の幾何学的認識
- Authors: Riccardo Marin, Enric Corona, Gerard Pons-Moll
- Abstract要約: 3Dヒューマンポイントクラウドへのテンプレートのアライメントは、アニメーションや再構築、教師付き学習パイプラインの有効化といったタスクにおいて、長年の課題である。
近年のデータ駆動方式は予測された表面対応を利用するが、様々なポーズや分布に対して頑健ではない。
本研究では, 対象表面上の局所的なSMPL頂点への方向を予測する新しいニューラルネットワークモデルであるLoVDと, テスト時に, バックボーンを洗練し, ターゲット形状を利用する最初の自己教師型タスクであるINTの2つの解を提案する。
- 参考スコア(独自算出の注目度): 40.04624169710299
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Aligning a template to 3D human point clouds is a long-standing problem
crucial for tasks like animation, reconstruction, and enabling supervised
learning pipelines. Recent data-driven methods leverage predicted surface
correspondences; however, they are not robust to varied poses or distributions.
In contrast, industrial solutions often rely on expensive manual annotations or
multi-view capturing systems. Recently, neural fields have shown promising
results, but their purely data-driven nature lacks geometric awareness, often
resulting in a trivial misalignment of the template registration. In this work,
we propose two solutions: LoVD, a novel neural field model that predicts the
direction towards the localized SMPL vertices on the target surface; and INT,
the first self-supervised task dedicated to neural fields that, at test time,
refines the backbone, exploiting the target geometry. We combine them into
INLoVD, a robust 3D Human body registration pipeline trained on a large MoCap
dataset. INLoVD is efficient (takes less than a minute), solidly achieves the
state of the art over public benchmarks, and provides unprecedented
generalization on out-of-distribution data. We will release code and
checkpoints in \url{url}.
- Abstract(参考訳): 3Dヒューマンポイントクラウドへのテンプレートのアライメントは、アニメーションや再構築、教師付き学習パイプラインの有効化といったタスクにおいて、長年の課題である。
近年のデータ駆動方式は予測された表面対応を利用するが、様々なポーズや分布に対して堅牢ではない。
対照的に、工業ソリューションは高価な手動アノテーションやマルチビューキャプチャシステムに依存することが多い。
近年、ニューラルフィールドは有望な結果を示しているが、純粋にデータ駆動の性質は幾何学的認識を欠いているため、テンプレート登録を軽視することが多い。
本研究では, 対象表面上の局所的なSMPL頂点への方向を予測する新しいニューラルネットワークモデルであるLoVDと, テスト時に, バックボーンを洗練し, ターゲット形状を利用する最初の自己教師型タスクであるINTの2つの解を提案する。
InLoVDは、大規模なMoCapデータセットに基づいてトレーニングされた、堅牢な3D人体登録パイプラインです。
INLoVDは効率的(1分以内)で、公開ベンチマークよりも技術の現状をしっかりと達成し、配布外データに対する前例のない一般化を提供する。
コードとチェックポイントを \url{url} でリリースします。
関連論文リスト
- MLGCN: An Ultra Efficient Graph Convolution Neural Model For 3D Point
Cloud Analysis [4.947552172739438]
グラフニューラルネットワーク(GNN)ブロックを用いて,特定の局所レベルの3次元点雲から特徴を抽出する,MLGCN(Multi-level Graph Convolution Neural)モデルを提案する。
提案手法は,浮動小数点演算(FLOP)の最大1000倍の削減と,ストレージ要求の大幅な削減を図りながら,最先端モデルに匹敵する結果をもたらす。
論文 参考訳(メタデータ) (2023-03-31T00:15:22Z) - Deep Graph Stream SVDD: Anomaly Detection in Cyber-Physical Systems [17.373668215331737]
本稿では,異常検出のためのディープグラフベクトルデータ記述法(SVDD)を提案する。
まず、時間的埋め込みにおけるデータ監視の短絡パターンと長絡パターンの両方を保存するために、トランスフォーマーを使用します。
センサタイプに応じてこれらの埋め込みをクラスタリングし、各種センサ間の接続性の変化を推定し、新しい重み付きグラフを構築する。
論文 参考訳(メタデータ) (2023-02-24T22:14:39Z) - Deep Generative Models on 3D Representations: A Survey [81.73385191402419]
生成モデルは、新しいインスタンスを生成することによって観測データの分布を学習することを目的としている。
最近、研究者は焦点を2Dから3Dにシフトし始めた。
3Dデータの表現は、非常に大きな課題をもたらします。
論文 参考訳(メタデータ) (2022-10-27T17:59:50Z) - Learned Vertex Descent: A New Direction for 3D Human Model Fitting [64.04726230507258]
画像やスキャンに適合する3次元人体モデルのための新しい最適化手法を提案する。
われわれのアプローチは、非常に異なる体型を持つ服を着た人々の基盤となる身体を捉えることができ、最先端技術と比べて大きな改善を達成できる。
LVDはまた、人間と手の3次元モデル適合にも適用でき、よりシンプルで高速な方法でSOTAに大きな改善が示される。
論文 参考訳(メタデータ) (2022-05-12T17:55:51Z) - Learning-based Point Cloud Registration for 6D Object Pose Estimation in
the Real World [55.7340077183072]
我々は、ポイントクラウドデータからオブジェクトの6Dポーズを推定するタスクに取り組む。
この課題に対処する最近の学習ベースのアプローチは、合成データセットにおいて大きな成功を収めている。
これらの障害の原因を分析し、ソースとターゲットポイントの雲の特徴分布の違いに遡る。
論文 参考訳(メタデータ) (2022-03-29T07:55:04Z) - Locally Aware Piecewise Transformation Fields for 3D Human Mesh
Registration [67.69257782645789]
本論文では,3次元変換ベクトルを学習し,提案空間内の任意のクエリ点をリザーブ空間内の対応する位置にマップする部分変換場を提案する。
パラメトリックモデルにネットワークのポーズを合わせることで、特に極端なポーズにおいて、より優れた登録品質が得られることを示す。
論文 参考訳(メタデータ) (2021-04-16T15:16:09Z) - Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。
最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。
しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。
本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
論文 参考訳(メタデータ) (2021-01-18T03:24:48Z) - Exploring Deep 3D Spatial Encodings for Large-Scale 3D Scene
Understanding [19.134536179555102]
生の3次元点雲の空間的特徴を非方向性グラフモデルに符号化することで,CNNに基づくアプローチの限界を克服する代替手法を提案する。
提案手法は、訓練時間とモデル安定性を改善して、最先端の精度で達成し、さらなる研究の可能性を示す。
論文 参考訳(メタデータ) (2020-11-29T12:56:19Z) - Generative Sparse Detection Networks for 3D Single-shot Object Detection [43.91336826079574]
3Dオブジェクト検出は、ロボット工学や拡張現実など多くの有望な分野に適用可能であるため、広く研究されている。
しかし、3Dデータのまばらな性質は、このタスクに固有の課題をもたらしている。
本稿では,完全畳み込み単一ショットスパース検出ネットワークであるGenerative Sparse Detection Network (GSDN)を提案する。
論文 参考訳(メタデータ) (2020-06-22T15:54:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。