論文の概要: Deep Hyperspectral-Depth Reconstruction Using Single Color-Dot Projection

• arxiv url: http://arxiv.org/abs/2204.03929v1
• Date: Fri, 8 Apr 2022 08:46:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-11 13:09:11.275277
• Title: Deep Hyperspectral-Depth Reconstruction Using Single Color-Dot Projection
• Title（参考訳）: 単色ドット投影を用いた深部視線深度再構成
• Authors: Chunyu Li, Yusuke Monno, Masatoshi Okutomi
• Abstract要約: 市販のRGBカメラとプロジェクタを用いた単発ハイパースペクトル深度再構成手法を提案する。 本手法は,奥行き復元のための構造光として機能する単一カラードット投影法に基づく。 単一色ドット画像から深度と高スペクトル反射率を共同で再構成するために,新しいエンドツーエンドネットワークアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 14.186824101704499
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Depth reconstruction and hyperspectral reflectance reconstruction are two active research topics in computer vision and image processing. Conventionally, these two topics have been studied separately using independent imaging setups and there is no existing method which can acquire depth and spectral reflectance simultaneously in one shot without using special hardware. In this paper, we propose a novel single-shot hyperspectral-depth reconstruction method using an off-the-shelf RGB camera and projector. Our method is based on a single color-dot projection, which simultaneously acts as structured light for depth reconstruction and spatially-varying color illuminations for hyperspectral reflectance reconstruction. To jointly reconstruct the depth and the hyperspectral reflectance from a single color-dot image, we propose a novel end-to-end network architecture that effectively incorporates a geometric color-dot pattern loss and a photometric hyperspectral reflectance loss. Through the experiments, we demonstrate that our hyperspectral-depth reconstruction method outperforms the combination of an existing state-of-the-art single-shot hyperspectral reflectance reconstruction method and depth reconstruction method.
• Abstract（参考訳）: 深度再構成と高スペクトル反射率再構成はコンピュータビジョンと画像処理における2つの研究課題である。 従来,これら2つの話題は独立した撮像装置を用いて別々に研究されてきたが,特別なハードウェアを使わずに1ショットで深度とスペクトルの反射率を同時に取得できる手法は存在しない。 本稿では,市販のRGBカメラとプロジェクタを用いた単発ハイパースペクトル深度再構成手法を提案する。 提案手法は,高スペクトル反射率再構成のための奥行き再構成と空間的に異なるカラー照明のための構造光として同時に機能する単一ドット投影法に基づく。 単一色ドット画像から深度と高スペクトル反射率を協調的に再構成するために,幾何的な色ドットパターン損失と光度ハイパースペクトル反射率損失を効果的に組み込んだエンドツーエンドネットワークアーキテクチャを提案する。 実験により,提案手法は既存の単一ショット高反射率再構成法と深度再構成法を併用した場合よりも優れることを示した。

関連論文リスト

• NeRSP: Neural 3D Reconstruction for Reflective Objects with Sparse Polarized Images [62.752710734332894]
  NeRSPはスパース偏光画像を用いた反射面のニューラル3次元再構成技術である。 偏光画像形成モデルと多視点方位整合性から測光的および幾何学的手がかりを導出する。 我々は6つのビューのみを入力として、最先端の表面再構成結果を達成する。
  論文  参考訳（メタデータ） (2024-06-11T09:53:18Z)
• AGG-Net: Attention Guided Gated-convolutional Network for Depth Image Completion [1.8820731605557168]
  注意誘導ゲート畳み込みネットワーク(AGG-Net)に基づく深度画像補完のための新しいモデルを提案する。 符号化段階では、異なるスケールでの深度と色の特徴の融合を実現するために、AG-GConvモジュールが提案されている。 復号段階では、アテンションガイドスキップ接続(AG-SC)モジュールが提示され、再構成にあまりにも多くの深度に関係のない特徴を導入することを避ける。
  論文  参考訳（メタデータ） (2023-09-04T14:16:08Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Photorealistic Monocular 3D Reconstruction of Humans Wearing Clothing [41.34640834483265]
  我々は,単眼のRGB画像のみを付加したフォトリアリスティックな3次元人体再構成のための,新しいエンドツーエンドトレーニング可能なディープニューラルネットワーク手法PHORHUMを提案する。 我々の画素アライメント法は,3次元形状を詳細に推定し,非整形表面色とシーン照明を併用した。
  論文  参考訳（メタデータ） (2022-04-19T14:06:16Z)
• S2F2: Self-Supervised High Fidelity Face Reconstruction from Monocular Image [2.469794902645761]
  単一画像から空間的に変化する顔の反射率の詳細な顔形状を再構成する新しい顔再構成法を提案する。 最先端の手法と比較して,本手法はより視覚的に魅力的な再構築を実現する。
  論文  参考訳（メタデータ） (2022-03-15T08:55:45Z)
• Towards High Fidelity Monocular Face Reconstruction with Rich Reflectance using Self-supervised Learning and Ray Tracing [49.759478460828504]
  ディープニューラルネットワークエンコーダと異なるレンダリングを組み合わせた手法が、幾何学、照明、反射の非常に高速な単分子再構成の道を開いた。 古典的な最適化ベースのフレームワーク内での単眼顔再構築のためにレイトレースが導入されました。 一般シーンにおける復元品質と堅牢性を大幅に向上させる新しい手法を提案します。
  論文  参考訳（メタデータ） (2021-03-29T08:58:10Z)
• Tuning IR-cut Filter for Illumination-aware Spectral Reconstruction from RGB [84.1657998542458]
  再現精度は、使用中のRGBカメラのスペクトル応答に大きく依存していることが証明されている。 本稿では,既存のrgbカメラのフィルタアレイに基づくカラーイメージング機構を調査し,irカットフィルタの設計方法を提案する。
  論文  参考訳（メタデータ） (2021-03-26T19:42:21Z)
• Polka Lines: Learning Structured Illumination and Reconstruction for Active Stereo [52.68109922159688]
  本稿では,波動光学と幾何光学の両方に依存した,アクティブステレオのための新しい微分可能な画像形成モデルと,新しい三眼再構成ネットワークを提案する。 Polka Lines" を再現ネットワークと組み合わせた共同最適化パターンは, 撮像条件全体にわたって, 最先端のアクティブステレオ深度推定を達成している。
  論文  参考訳（メタデータ） (2020-11-26T04:02:43Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。