論文の概要: Differentiable Display Photometric Stereo

• arxiv url: http://arxiv.org/abs/2306.13325v3
• Date: Fri, 1 Dec 2023 07:29:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 18:33:27.341068
• Title: Differentiable Display Photometric Stereo
• Title（参考訳）: 微分表示型測光ステレオ
• Authors: Seokjun Choi, Seungwoo Yoon, Giljoo Nam, Seungyong Lee, Seung-Hwan Baek
• Abstract要約: 光度ステレオは、照明条件の変化を利用して表面の正常を再構成する。 本稿では、表示パターンの設計に対処する、微分可能な表示測光ステレオ(DDPS)を提案する。 DDPSは、ターゲットシステムに対して、エンドツーエンドで正確な正常な再構築をもたらす表示パターンを学習する。
• 参考スコア（独自算出の注目度）: 15.842538322034537
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Photometric stereo leverages variations in illumination conditions to reconstruct surface normals. Display photometric stereo, which employs a conventional monitor as an illumination source, has the potential to overcome limitations often encountered in bulky and difficult-to-use conventional setups. In this paper, we present differentiable display photometric stereo (DDPS), addressing an often overlooked challenge in display photometric stereo: the design of display patterns. Departing from using heuristic display patterns, DDPS learns the display patterns that yield accurate normal reconstruction for a target system in an end-to-end manner. To this end, we propose a differentiable framework that couples basis-illumination image formation with analytic photometric-stereo reconstruction. The differentiable framework facilitates the effective learning of display patterns via auto-differentiation. Also, for training supervision, we propose to use 3D printing for creating a real-world training dataset, enabling accurate reconstruction on the target real-world setup. Finally, we exploit that conventional LCD monitors emit polarized light, which allows for the optical separation of diffuse and specular reflections when combined with a polarization camera, leading to accurate normal reconstruction. Extensive evaluation of DDPS shows improved normal-reconstruction accuracy compared to heuristic patterns and demonstrates compelling properties such as robustness to pattern initialization, calibration errors, and simplifications in image formation and reconstruction.
• Abstract（参考訳）: 光度ステレオは照明条件の変化を利用して表面の正常さを再構築する。 従来のモニタを照明源として使用するディスプレイフォトメトリックステレオは、バルクで使いづらい従来の設定でしばしば発生する制限を克服する可能性を秘めている。 本稿では、表示パターンの設計において、しばしば見落とされがちな課題に対処する、微分可能な表示測光ステレオ(DDPS)を提案する。 DDPSは、ヒューリスティックな表示パターンの使用から離れ、エンド・ツー・エンドでターゲットシステムに対して正確な正常な再構築をもたらす表示パターンを学習する。 そこで本研究では,基底照度画像形成と分析的測光・ステレオ再構成を結合した微分可能な枠組みを提案する。 微分可能なフレームワークは、自動微分によるディスプレイパターンの効果的な学習を容易にする。 また,実世界のトレーニングデータセット作成に3Dプリンティングを用いることで,ターゲットのリアルワールド設定の正確な再構築を可能にすることを提案する。 最後に、従来のLCDモニタは偏光を放射し、偏光カメラと組み合わせることで回折反射とスペクトル反射の光学的分離を可能にし、正確な正規化を実現する。 DDPSの大規模評価は、ヒューリスティックパターンと比較して正常再構成精度が向上し、パターンの初期化やキャリブレーションエラーに対する堅牢性、画像形成と再構成の単純化といった魅力的な特性を示す。

関連論文リスト

• MERLiN: Single-Shot Material Estimation and Relighting for Photometric Stereo [26.032964551717548]
  光度ステレオは通常、表面の正常を正確に回復するために複数の光源を含む複雑なデータ取得装置を必要とする。 MERLiNは、単一の画像ベースの逆レンダリングとリライトを単一の統合フレームワークに統合したアテンションベースの時間ガラスネットワークである。
  論文  参考訳（メタデータ） (2024-09-01T09:32:03Z)
• Learning Photometric Feature Transform for Free-form Object Scan [34.61673205691415]
  本研究では,非構造化ビューから自動で測光データを収集・変換するフレームワークを提案する。 我々は手持ちスキャンから様々な挑戦対象の幾何学的および異方的反射を再構築するシステムを構築した。 結果はプロの3Dスキャナーと写真からの復元に対して検証され、最先端技術と好適に比較される。
  論文  参考訳（メタデータ） (2023-08-07T11:34:27Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• How to Calibrate Your Event Camera [58.80418612800161]
  画像再構成を用いた汎用イベントカメラキャリブレーションフレームワークを提案する。 ニューラルネットワークに基づく画像再構成は,イベントカメラの内在的・外在的キャリブレーションに適していることを示す。
  論文  参考訳（メタデータ） (2021-05-26T07:06:58Z)
• Learning Efficient Photometric Feature Transform for Multi-view Stereo [37.26574529243778]
  各ビューのperpixelフォトメトリック情報を,空間的特徴とビュー不変の低レベル特徴に変換することを学ぶ。 本フレームワークは,様々な入力データで利用可能な幾何学情報を自動的に適用し,効率的な利用を行う。
  論文  参考訳（メタデータ） (2021-03-27T02:53:15Z)
• SIR: Self-supervised Image Rectification via Seeing the Same Scene from Multiple Different Lenses [82.56853587380168]
  本稿では、異なるレンズからの同一シーンの歪み画像の補正結果が同一であるべきという重要な知見に基づいて、新しい自己監督画像補正法を提案する。 我々は、歪みパラメータから修正画像を生成し、再歪み画像を生成するために、微分可能なワープモジュールを利用する。 本手法は,教師付きベースライン法や代表的最先端手法と同等あるいはそれ以上の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-30T08:23:25Z)
• Polka Lines: Learning Structured Illumination and Reconstruction for Active Stereo [52.68109922159688]
  本稿では,波動光学と幾何光学の両方に依存した,アクティブステレオのための新しい微分可能な画像形成モデルと,新しい三眼再構成ネットワークを提案する。 Polka Lines" を再現ネットワークと組み合わせた共同最適化パターンは, 撮像条件全体にわたって, 最先端のアクティブステレオ深度推定を達成している。
  論文  参考訳（メタデータ） (2020-11-26T04:02:43Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)
• Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset for Spatially Varying Isotropic Materials [65.95928593628128]
  多視点光度ステレオ技術を用いて3次元形状と空間的に異なる反射率の両方をキャプチャする手法を提案する。 我々のアルゴリズムは、遠近点光源と遠近点光源に適している。
  論文  参考訳（メタデータ） (2020-01-18T12:26:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。