論文の概要: Differentiable Display Photometric Stereo

• arxiv url: http://arxiv.org/abs/2306.13325v1
• Date: Fri, 23 Jun 2023 07:05:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-26 13:38:17.885309
• Title: Differentiable Display Photometric Stereo
• Title（参考訳）: 微分表示型測光ステレオ
• Authors: Seokjun Choi, Seungwoo Yoon, Giljoo Nam, Seungyong Lee, Seung-Hawn Baek
• Abstract要約: 光度ステレオは、画素ごとの表面の正常を再構成するために照明条件のバリエーションを用いる。 Differentiable Display Photometric Stereo (DDPS) は、市販のモニターとカメラを用いて高忠実度ノーマルリコンストラクションを実現するために設計された方法である。 本稿では,フォトメトリックステレオ再構成法と基底照明画像形成を併用する微分可能なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.806460912575209
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Photometric stereo leverages variations in illumination conditions to reconstruct per-pixel surface normals. The concept of display photometric stereo, which employs a conventional monitor as an illumination source, has the potential to overcome limitations often encountered in bulky and difficult-to-use conventional setups. In this paper, we introduce Differentiable Display Photometric Stereo (DDPS), a method designed to achieve high-fidelity normal reconstruction using an off-the-shelf monitor and camera. DDPS addresses a critical yet often neglected challenge in photometric stereo: the optimization of display patterns for enhanced normal reconstruction. We present a differentiable framework that couples basis-illumination image formation with a photometric-stereo reconstruction method. This facilitates the learning of display patterns that leads to high-quality normal reconstruction through automatic differentiation. Addressing the synthetic-real domain gap inherent in end-to-end optimization, we propose the use of a real-world photometric-stereo training dataset composed of 3D-printed objects. Moreover, to reduce the ill-posed nature of photometric stereo, we exploit the linearly polarized light emitted from the monitor to optically separate diffuse and specular reflections in the captured images. We demonstrate that DDPS allows for learning display patterns optimized for a target configuration and is robust to initialization. We assess DDPS on 3D-printed objects with ground-truth normals and diverse real-world objects, validating that DDPS enables effective photometric-stereo reconstruction.
• Abstract（参考訳）: フォトメトリックステレオは、光度条件の変化を利用してピクセルごとの表面正常を再構成する。 従来のモニタを照明源として使用するディスプレイフォトメトリックステレオの概念は、かさばり、使いづらい従来の設定でしばしば発生する制限を克服する可能性がある。 本稿では,市販のモニターとカメラを用いた高忠実度ノーマルリコンストラクションを実現するため,DDPS(diffariable Display Photometric Stereo)を提案する。 ddpsは、フォトメトリックステレオにおける批判的だがしばしば無視される課題に対処している。 本稿では,フォトメトリックステレオ再構成法と基底照明画像形成を併用する微分可能なフレームワークを提案する。 これにより、ディスプレイパターンの学習が容易になり、自動微分による高品質な正常な再構築につながる。 エンドツーエンドの最適化に固有の合成ドメインギャップに対処し、3Dプリントオブジェクトからなる実世界の測光ステレオトレーニングデータセットを提案する。 さらに,光度ステレオの異常な性質を低減するために,モニタから放射される線形偏光を利用して,撮像画像中の拡散反射とスペクトル反射を光学的に分離する。 DDPSは、ターゲット設定に最適化されたディスプレイパターンを学習することができ、初期化に堅牢であることを示す。 本研究では,3次元プリントオブジェクトにおけるDDPSの評価を行い,DPSが効果的な測光ステレオ再構成を実現することを実証した。

関連論文リスト

• MERLiN: Single-Shot Material Estimation and Relighting for Photometric Stereo [26.032964551717548]
  光度ステレオは通常、表面の正常を正確に回復するために複数の光源を含む複雑なデータ取得装置を必要とする。 MERLiNは、単一の画像ベースの逆レンダリングとリライトを単一の統合フレームワークに統合したアテンションベースの時間ガラスネットワークである。
  論文  参考訳（メタデータ） (2024-09-01T09:32:03Z)
• Learning Photometric Feature Transform for Free-form Object Scan [34.61673205691415]
  本研究では,非構造化ビューから自動で測光データを収集・変換するフレームワークを提案する。 我々は手持ちスキャンから様々な挑戦対象の幾何学的および異方的反射を再構築するシステムを構築した。 結果はプロの3Dスキャナーと写真からの復元に対して検証され、最先端技術と好適に比較される。
  論文  参考訳（メタデータ） (2023-08-07T11:34:27Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• How to Calibrate Your Event Camera [58.80418612800161]
  画像再構成を用いた汎用イベントカメラキャリブレーションフレームワークを提案する。 ニューラルネットワークに基づく画像再構成は,イベントカメラの内在的・外在的キャリブレーションに適していることを示す。
  論文  参考訳（メタデータ） (2021-05-26T07:06:58Z)
• Learning Efficient Photometric Feature Transform for Multi-view Stereo [37.26574529243778]
  各ビューのperpixelフォトメトリック情報を,空間的特徴とビュー不変の低レベル特徴に変換することを学ぶ。 本フレームワークは,様々な入力データで利用可能な幾何学情報を自動的に適用し,効率的な利用を行う。
  論文  参考訳（メタデータ） (2021-03-27T02:53:15Z)
• SIR: Self-supervised Image Rectification via Seeing the Same Scene from Multiple Different Lenses [82.56853587380168]
  本稿では、異なるレンズからの同一シーンの歪み画像の補正結果が同一であるべきという重要な知見に基づいて、新しい自己監督画像補正法を提案する。 我々は、歪みパラメータから修正画像を生成し、再歪み画像を生成するために、微分可能なワープモジュールを利用する。 本手法は,教師付きベースライン法や代表的最先端手法と同等あるいはそれ以上の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-30T08:23:25Z)
• Polka Lines: Learning Structured Illumination and Reconstruction for Active Stereo [52.68109922159688]
  本稿では,波動光学と幾何光学の両方に依存した,アクティブステレオのための新しい微分可能な画像形成モデルと,新しい三眼再構成ネットワークを提案する。 Polka Lines" を再現ネットワークと組み合わせた共同最適化パターンは, 撮像条件全体にわたって, 最先端のアクティブステレオ深度推定を達成している。
  論文  参考訳（メタデータ） (2020-11-26T04:02:43Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)
• Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset for Spatially Varying Isotropic Materials [65.95928593628128]
  多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。 我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
  論文  参考訳（メタデータ） (2020-01-18T12:26:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。