論文の概要: Pixels2Points: Fusing 2D and 3D Features for Facial Skin Segmentation
- arxiv url: http://arxiv.org/abs/2504.19718v1
- Date: Mon, 28 Apr 2025 12:13:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.418585
- Title: Pixels2Points: Fusing 2D and 3D Features for Facial Skin Segmentation
- Title（参考訳）: Pixels2Points:顔の皮膚のセグメンテーションのために2Dと3Dの機能を融合
- Authors: Victoria Yue Chen, Daoye Wang, Stephan Garbin, Sebastian Winberg, Timo Bolkart, Thabo Beeler,
- Abstract要約: 顔登録はテンプレートメッシュを変形して3D顔スキャンを密に適合させ、その品質は非皮膚領域で一般的に低下する。
既存のイメージベース (2D) やスキャンベース (3D) のセグメンテーション手法は性能が良くない。
本研究では3次元頭部スキャンにおいて皮膚と皮膚の非皮膚形状を正確に分離する新しい手法を提案する。
- 参考スコア（独自算出の注目度）: 12.2258243244703
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Face registration deforms a template mesh to closely fit a 3D face scan, the quality of which commonly degrades in non-skin regions (e.g., hair, beard, accessories), because the optimized template-to-scan distance pulls the template mesh towards the noisy scan surface. Improving registration quality requires a clean separation of skin and non-skin regions on the scan mesh. Existing image-based (2D) or scan-based (3D) segmentation methods however perform poorly. Image-based segmentation outputs multi-view inconsistent masks, and they cannot account for scan inaccuracies or scan-image misalignment, while scan-based methods suffer from lower spatial resolution compared to images. In this work, we introduce a novel method that accurately separates skin from non-skin geometry on 3D human head scans. For this, our method extracts features from multi-view images using a frozen image foundation model and aggregates these features in 3D. These lifted 2D features are then fused with 3D geometric features extracted from the scan mesh, to then predict a segmentation mask directly on the scan mesh. We show that our segmentations improve the registration accuracy over pure 2D or 3D segmentation methods by 8.89% and 14.3%, respectively. Although trained only on synthetic data, our model generalizes well to real data.
- Abstract（参考訳）: 顔登録は、テンプレートメッシュを3D顔スキャンに密に適合させるために変形する。これは、非皮膚領域(例えば、髪、ひげ、アクセサリー)で一般的に劣化する品質であり、最適化されたテンプレートからスキャンまでの距離が、ノイズの多いスキャン面に向かってテンプレートメッシュを引っ張る。
登録品質の向上には、スキャンメッシュ上の皮膚と非皮膚領域をきれいに分離する必要がある。
既存のイメージベース (2D) やスキャンベース (3D) のセグメンテーション手法は性能が良くない。
画像ベースセグメンテーションは、マルチビューの不整合マスクを出力し、スキャンの不正確さやスキャン画像の不整合を考慮できないが、スキャンベースの手法は画像に比べて空間分解能が低い。
本研究では,3次元頭部スキャンにおいて皮膚と皮膚の非皮膚形状を正確に区別する新しい手法を提案する。
そこで本研究では,凍結画像基盤モデルを用いてマルチビュー画像から特徴を抽出し,これらの特徴を3Dで集約する。
これらの持ち上げられた2D機能は、スキャンメッシュから抽出された3D幾何学的特徴と融合し、スキャンメッシュ上で直接セグメンテーションマスクを予測する。
本研究のセグメンテーションは, 純粋な2D法や3Dセグメンテーション法よりも8.89%, 14.3%の精度で登録精度を向上させる。
合成データのみを訓練するが,本モデルは実データに対してよく一般化する。
関連論文リスト
- RadSAM: Segmenting 3D radiological images with a 2D promptable model [4.9000940389224885]
1つのプロンプトから2次元モデルで3Dオブジェクトを分割する新しい手法であるRadSAMを提案する。
我々は,1つのプロンプトからCT画像に3Dオブジェクトを分割する能力を評価するためのベンチマークを導入する。
論文 参考訳（メタデータ） (2025-04-29T15:00:25Z) - FAMOUS: High-Fidelity Monocular 3D Human Digitization Using View Synthesis [51.193297565630886]
テクスチャを正確に推測することの難しさは、特に正面視画像の人物の背中のような不明瞭な領域に残る。
このテクスチャ予測の制限は、大規模で多様な3Dデータセットの不足に起因する。
本稿では,3次元デジタル化におけるテクスチャと形状予測の両立を図るために,広範囲な2次元ファッションデータセットを活用することを提案する。
論文 参考訳（メタデータ） (2024-10-13T01:25:05Z) - MV2Cyl: Reconstructing 3D Extrusion Cylinders from Multi-View Images [13.255044855902408]
2次元多視点画像から3次元を再構成する新しい手法であるMV2Cylを提案する。
本研究では,2次元スケッチと抽出パラメータ推定において最適な精度で最適な再構成結果を得る。
論文 参考訳（メタデータ） (2024-06-16T08:54:38Z) - Instant Multi-View Head Capture through Learnable Registration [62.70443641907766]
3次元頭部のデータセットを密接なセマンティック通信でキャプチャする既存の手法は遅い。
キャリブレーションされたマルチビュー画像から3Dヘッドを直接推定するためにTEMPEHを導入する。
1つの頭部の予測には0.3秒かかるが、中央値の復元誤差は0.26mmで、現在の最先端よりも64%低い。
論文 参考訳（メタデータ） (2023-06-12T21:45:18Z) - ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image
Collections [71.46546520120162]
単眼画像から動物体のような3D関節形状を推定することは、本質的に困難である。
本稿では,スパース画像コレクションから各物体の形状を再構築する自己教師型フレームワークARTIC3Dを提案する。
我々は、剛性部分変換の下で、描画された形状とテクスチャを微調整することで、現実的なアニメーションを作成する。
論文 参考訳（メタデータ） (2023-06-07T17:47:50Z) - Automatic 3D Registration of Dental CBCT and Face Scan Data using 2D
Projection Images [0.9226931037259524]
本稿では,歯科用コーンビームCT(CBCT)と顔スキャンデータの完全自動登録法を提案する。
3Dデジタル治療計画や矯正手術など、様々な用途で3D顎顔面モデルのデジタルプラットフォームとして使用できる。
論文 参考訳（メタデータ） (2023-05-17T11:26:43Z) - Detailed Avatar Recovery from Single Image [50.82102098057822]
本稿では,単一画像からエンフデテールアバターを回収するための新しい枠組みを提案する。
階層的メッシュ変形フレームワークでは、ディープニューラルネットワークを使用して3次元形状を洗練しています。
本手法は,皮膚モデルを超えて,完全なテクスチャで詳細な人体形状を復元することができる。
論文 参考訳（メタデータ） (2021-08-06T03:51:26Z) - Spatial Context-Aware Self-Attention Model For Multi-Organ Segmentation [18.76436457395804]
マルチ組織セグメンテーションは、医学画像解析におけるディープラーニングの最も成功した応用の1つである。
深部畳み込みニューラルネット(CNN)は,CT画像やMRI画像上で臨床応用画像のセグメンテーション性能を達成する上で非常に有望である。
本研究では,高分解能2次元畳み込みによりセグメンテーションを実現する3次元モデルと2次元モデルを組み合わせた新しい枠組みを提案する。
論文 参考訳（メタデータ） (2020-12-16T21:39:53Z) - 3DBooSTeR: 3D Body Shape and Texture Recovery [76.91542440942189]
3DBooSTeRは、部分的な3Dスキャンからテクスチャ化された3Dボディメッシュを復元する新しい方法である。
提案手法は形状とテクスチャの完成を2つの逐次的なタスクに分解する。
論文 参考訳（メタデータ） (2020-10-23T21:07:59Z) - AutoSweep: Recovering 3D Editable Objectsfrom a Single Photograph [54.701098964773756]
セマンティックな部分で3Dオブジェクトを復元し、直接編集することを目的としている。
我々の研究は、一般化された立方体と一般化されたシリンダーという、2種類の原始的な形状の物体を回収する試みである。
提案アルゴリズムは,高品質な3Dモデルを復元し,既存手法のインスタンスセグメンテーションと3D再構成の両方で性能を向上する。
論文 参考訳（メタデータ） (2020-05-27T12:16:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。