論文の概要: Topologically Consistent Multi-view 3D Head Reconstruction via Coarse-Guided Layered Surface Sampling
- arxiv url: http://arxiv.org/abs/2605.31283v1
- Date: Fri, 29 May 2026 13:14:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.629168
- Title: Topologically Consistent Multi-view 3D Head Reconstruction via Coarse-Guided Layered Surface Sampling
- Title（参考訳）: 粗誘導層表面サンプリングによる位相整合多視点3次元頭部再構成
- Abstract要約: SHELLSは多視点画像からの密接な意味対応における3次元頭部再構成のための効率的なフィードフォワードフレームワークである。
これは3.5倍の推論速度で、中央値の登録誤差を21%から29%に削減する。
我々のモデルは、合成データにのみ訓練されるが、実世界のキャプチャーに効果的に一般化される。
- 参考スコア（独自算出の注目度）: 15.24889101682807
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present SHELLS (Semantic Head Estimation via Layered Local Sampling), an efficient feed-forward framework for 3D head reconstruction in dense semantic correspondence from multi-view images. Existing methods typically refine vertices independently via localized feature volumes. This approach couples memory-intensive feature sampling to mesh resolution, which limits scalability for dense topologies (> 10k vertices) and introduces surface noise. In contrast, SHELLS decouples feature extraction from mesh resolution via a hierarchical sampling strategy. We extract multi-view features using a DINOv2 backbone with LoRA adaptation, projectively sample a sparse global feature cloud, and predict an intermediate coarse mesh. This coarse prior guides the construction of layered, surface-aware sampling shells that serve as a discrete search space for the final reconstruction. SHELLS maintains surface consistency while using 88% less inference GPU memory (2.4GB vs. 20GB) than volumetric baselines. It reduces median registration error by 21% to 29% with a 3.5x inference speedup (0.08s vs. 0.29s) for 18k-vertex meshes. Notably, our model is trained exclusively on synthetic data yet generalizes effectively to real-world captures, eliminating the need for the costly, pre-registered multi-view datasets common in prior work.
- Abstract（参考訳）: 多視点画像からの密接なセマンティック対応のための3次元頭部再構成のための効率的なフィードフォワードフレームワークであるSHELLS(Semantic Head Estimation via Layered Local Smpling)を提案する。
既存の手法は典型的には、局所化された特徴量を介して頂点を独立に洗練する。
このアプローチでは、高密度トポロジ(>10k頂点)のスケーラビリティを制限し、表面ノイズを導入する、メモリ集約的な機能サンプリングをメッシュ解像度に結合する。
これとは対照的に、SHELLSは階層的なサンプリング戦略を通じてメッシュ分解能から特徴抽出を分離する。
我々は、LoRA適応のDINOv2バックボーンを用いてマルチビュー特徴を抽出し、疎グローバル特徴クラウドを投影し、中間粗いメッシュを予測する。
この粗い前は、層状で表面対応のサンプリングシェルの構築を導いており、最終的な再構築のための離散的な探索空間として機能している。
SHELLSは、ボリュームベースラインよりも88%少ない推論GPUメモリ(2.4GB対20GB)を使用しながら、表面の一貫性を維持している。
18k-頂点メッシュの3.5倍の推論スピードアップ(0.08s vs. 0.29s)で、中央値の登録エラーを21%から29%削減する。
特に、我々のモデルは、合成データにのみ訓練されているが、実世界のキャプチャーに効果的に一般化し、従来の作業に共通する費用がかかるマルチビューデータセットの必要性を排除している。
関連論文リスト
- SubdivAR: Autoregressive Next-Scale Prediction for Neural Mesh Subdivision [10.62097148325093]
メッシュ分割は粗い編集可能なメッシュを高分解能な表面に変換するための基本的な操作である。
提案したメッシュ自己回帰表現(MAR)に基づくニューラルネットワークサブディビジョンフレームワークであるSubdivARを提案する。
MARは、異なるサブディビジョンレベルのメッシュを順序付けられたスケールシーケンスにアレンジし、サブディビジョンを自己回帰的な次のスケール予測として再構成する。
論文 参考訳（メタデータ） (2026-06-25T14:24:03Z) - Hierarchical Awareness Adapters with Hybrid Pyramid Feature Fusion for Dense Depth Prediction [9.96771578356719]
既存のアプローチは、深度マップを回帰するために、ますます複雑なネットワークアーキテクチャに依存している。
本論文では,Swin Transformerのバックボーン上に構築したマルチレベル条件付きランダムフィールド(CRF)モデルを提案する。
本稿では,Abs Relを0.088ドル(約7.4%)に,RMSEを0.316ドル(約5.4%)に削減し,ほぼ完全なしきい値精度を実現した。
論文 参考訳（メタデータ） (2026-04-03T07:59:26Z) - Holi-Spatial: Evolving Video Streams into Holistic 3D Spatial Intelligence [78.1406635199656]
Holi-Spatialは、人間の介入なしに生のビデオ入力から構築された、初めて完全に自動化され、大規模で、空間対応のマルチモーダルデータセットである。
Holi-Spatial-4Mは、12K最適化された3DGSシーン、1.3Mの2Dマスク、320Kの3Dバウンディングボックス、320Kのインスタンスキャプション、1.2Mの3Dグラウンドインスタンス、1.2Mの空間QAペアを含む、最初の大規模で高品質な3Dセマンティックデータセットである。
論文 参考訳（メタデータ） (2026-03-08T14:49:20Z) - Faithful Contouring: Near-Lossless 3D Voxel Representation Free from Iso-surface [49.742538510885]
本稿では,3次元メッシュにおけるほぼロスレスな忠実度を実現するボクセル化表現であるFithful Contouringを提案する。
提案手法は,既存表現の柔軟性と改善も示す。
論文 参考訳（メタデータ） (2025-11-06T03:56:12Z) - Volumetric Surfaces: Representing Fuzzy Geometries with Layered Meshes [59.17785932398617]
高品質なビュー合成はボリュームレンダリング、スプレイティング、サーフェスレンダリングに依存している。
実時間ビュー合成のための新しい表現として,サンプリング位置の個数が小さく,有界であることを示す。
我々は、オブジェクトを半透明な多層メッシュとして固定順序で表現することで、これを実現する。
論文 参考訳（メタデータ） (2024-09-04T07:18:26Z) - C2F2NeUS: Cascade Cost Frustum Fusion for High Fidelity and
Generalizable Neural Surface Reconstruction [12.621233209149953]
本稿では,多視点ステレオとニューラルサイン付き距離関数表現を組み合わせた新しい統合手法を提案する。
本手法は,ロバストな表面を再構成し,既存の最先端の手法より優れる。
論文 参考訳（メタデータ） (2023-06-16T17:56:16Z) - Learning Neural Parametric Head Models [7.679586286000453]
そこで本研究では,ハイブリッドニューラルネットワークを用いた人間の頭部の3次元形状モデルを提案する。
我々は,手動距離場(SDF)として標準空間内の人物の身元を捉え,ニューラルな変形場を持つ表情をモデル化する。
我々の表現は、顔のアンカーポイントを中心とした局所フィールドのアンサンブルを導入することで、高忠実な局所詳細を実現する。
論文 参考訳（メタデータ） (2022-12-06T05:24:42Z) - BIMS-PU: Bi-Directional and Multi-Scale Point Cloud Upsampling [60.257912103351394]
我々はBIMS-PUと呼ばれる新しいポイント・クラウド・アップサンプリング・パイプラインを開発した。
対象のサンプリング因子を小さな因子に分解することにより,アップ/ダウンサンプリング手順をいくつかのアップ/ダウンサンプリングサブステップに分解する。
提案手法は最先端手法よりも優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2022-06-25T13:13:37Z) - Learning Semantic Segmentation of Large-Scale Point Clouds with Random
Sampling [52.464516118826765]
我々はRandLA-Netを紹介した。RandLA-Netは、大規模ポイントクラウドのポイントごとの意味を推論する、効率的で軽量なニューラルネットワークアーキテクチャである。
我々のアプローチの鍵は、より複雑な点選択アプローチではなく、ランダムな点サンプリングを使用することである。
我々のRandLA-Netは、既存のアプローチよりも最大200倍高速な1回のパスで100万ポイントを処理できます。
論文 参考訳（メタデータ） (2021-07-06T05:08:34Z) - Dense Hybrid Recurrent Multi-view Stereo Net with Dynamic Consistency
Checking [54.58791377183574]
1)DRENet(Dense Reception Expanded)モジュールで,原サイズの密集した特徴マップをマルチスケールのコンテキスト情報で抽出し,2)HU-LSTM(Hybrid U-LSTM)を用いて3次元マッチングボリュームを予測深度マップに変換する。
R-MVSNetのメモリ消費は19.4%しかかからないが,本手法は最先端の手法と競合する性能を示し,メモリ消費を劇的に削減する。
論文 参考訳（メタデータ） (2020-07-21T14:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。