論文の概要: Robust Single-shot Structured Light 3D Imaging via Neural Feature Decoding

• arxiv url: http://arxiv.org/abs/2512.14028v1
• Date: Tue, 16 Dec 2025 02:47:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-17 16:49:26.556931
• Title: Robust Single-shot Structured Light 3D Imaging via Neural Feature Decoding
• Title（参考訳）: ニューラル特徴復号によるロバスト単発構造光3次元イメージング
• Authors: Jiaheng Li, Qiyu Dai, Lihan Li, Praneeth Chakravarthula, He Sun, Baoquan Chen, Wenzheng Chen,
• Abstract要約: 単発構造光システムを用いた能動3次元イメージングの問題点を考察する。 従来の構造化光法は、通常、ピクセル領域マッチングアルゴリズムによって深度対応をデコードする。 ニューラル特徴マッチングの最近の進歩に触発されて、学習に基づく構造化光復号フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 33.013553875034795
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We consider the problem of active 3D imaging using single-shot structured light systems, which are widely employed in commercial 3D sensing devices such as Apple Face ID and Intel RealSense. Traditional structured light methods typically decode depth correspondences through pixel-domain matching algorithms, resulting in limited robustness under challenging scenarios like occlusions, fine-structured details, and non-Lambertian surfaces. Inspired by recent advances in neural feature matching, we propose a learning-based structured light decoding framework that performs robust correspondence matching within feature space rather than the fragile pixel domain. Our method extracts neural features from the projected patterns and captured infrared (IR) images, explicitly incorporating their geometric priors by building cost volumes in feature space, achieving substantial performance improvements over pixel-domain decoding approaches. To further enhance depth quality, we introduce a depth refinement module that leverages strong priors from large-scale monocular depth estimation models, improving fine detail recovery and global structural coherence. To facilitate effective learning, we develop a physically-based structured light rendering pipeline, generating nearly one million synthetic pattern-image pairs with diverse objects and materials for indoor settings. Experiments demonstrate that our method, trained exclusively on synthetic data with multiple structured light patterns, generalizes well to real-world indoor environments, effectively processes various pattern types without retraining, and consistently outperforms both commercial structured light systems and passive stereo RGB-based depth estimation methods. Project page: https://namisntimpot.github.io/NSLweb/.
• Abstract（参考訳）: 我々は,Apple Face IDやIntel RealSenseなどの商用3Dセンシングデバイスで広く利用されている,単発構造光システムを用いたアクティブ3Dイメージングの問題点を考察する。 従来の構造化光法は、通常、ピクセルドメインマッチングアルゴリズムを通じて深さ対応を復号し、閉塞、微細構造の詳細、非ランベルト面といった難解なシナリオ下では、頑健さが制限される。 ニューラル特徴マッチングの最近の進歩に触発されて、脆弱なピクセル領域ではなく、特徴空間内で堅牢な対応性を実現する学習ベースの構造化光復号フレームワークを提案する。 提案手法は,投影されたパターンとキャプチャされた赤外線(IR)画像からニューラル特徴を抽出し,特徴空間にコストボリュームを構築することにより,その幾何学的先行を明示的に取り入れ,画素ドメインデコードアプローチよりも大幅な性能向上を実現している。 そこで我々は, 大規模単分子深度推定モデルからの強い先行情報を活用し, 細部回復と大域的構造コヒーレンスを改善した深度改善モジュールを提案する。 効果的な学習を容易にするため,室内環境のための多種多様な物体と材料を用いた100万近い合成パターン画像対を生成する物理的に構造化された光描画パイプラインを開発した。 実験により,本手法は,複数の構造的光パターンを用いた合成データに特化して訓練され,実世界の屋内環境に適応し,再トレーニングを伴わずに様々なパターンタイプを効果的に処理し,商用構造的光システムと受動ステレオRGBを用いた深度推定法を一貫して上回っていることが示された。 プロジェクトページ:https://namisntimpot.github.io/NSLweb/。

関連論文リスト

• IDArb: Intrinsic Decomposition for Arbitrary Number of Input Views and Illuminations [64.07859467542664]
  画像から幾何学的および物質的情報をキャプチャすることは、コンピュータビジョンとグラフィックスの基本的な課題である。 従来の最適化に基づく手法では、密集した多視点入力から幾何学、材料特性、環境照明を再構築するために数時間の計算時間を必要とすることが多い。 IDArbは、様々な照明条件下で、任意の画像に対して本質的な分解を行うために設計された拡散モデルである。
  論文  参考訳（メタデータ） (2024-12-16T18:52:56Z)
• PBIR-NIE: Glossy Object Capture under Non-Distant Lighting [30.325872237020395]
  グロッシーオブジェクトは自然光下での多視点入力画像から3次元再構成を行う上で重要な課題となる。 PBIR-NIEは, 物体の形状, 材料特性, 周囲の照明を均等に捉えるために設計された逆レンダリングフレームワークである。
  論文  参考訳（メタデータ） (2024-08-13T13:26:24Z)
• Depth Reconstruction with Neural Signed Distance Fields in Structured Light Systems [15.603880588503355]
  本稿では,3次元空間の暗黙的表現を用いた多フレーム構造光設定のための新しい深度推定手法を提案する。 我々のアプローチでは、自己教師付き微分可能レンダリングによって訓練された、ニューラルサイン付き距離場(SDF)を用いる。
  論文  参考訳（メタデータ） (2024-05-20T13:24:35Z)
• Multi-View Neural Surface Reconstruction with Structured Light [7.709526244898887]
  微分可能レンダリング(DR)に基づく3次元オブジェクト再構成はコンピュータビジョンにおいて活発な研究課題である。 DRに基づく多視点3Dオブジェクト再構成において,構造化光(SL)を用いたアクティブセンシングを導入し,任意のシーンやカメラポーズの未知の形状と外観を学習する。 本手法は, テクスチャレス領域における高い再現精度を実現し, カメラポーズキャリブレーションの労力を削減する。
  論文  参考訳（メタデータ） (2022-11-22T03:10:46Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• Polka Lines: Learning Structured Illumination and Reconstruction for Active Stereo [52.68109922159688]
  本稿では,波動光学と幾何光学の両方に依存した,アクティブステレオのための新しい微分可能な画像形成モデルと,新しい三眼再構成ネットワークを提案する。 Polka Lines" を再現ネットワークと組み合わせた共同最適化パターンは, 撮像条件全体にわたって, 最先端のアクティブステレオ深度推定を達成している。
  論文  参考訳（メタデータ） (2020-11-26T04:02:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。