論文の概要: PRM: Photometric Stereo based Large Reconstruction Model

• arxiv url: http://arxiv.org/abs/2412.07371v1
• Date: Tue, 10 Dec 2024 10:11:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:36:00.713275
• Title: PRM: Photometric Stereo based Large Reconstruction Model
• Title（参考訳）: PRM:測光ステレオを用いた大規模再構成モデル
• Authors: Wenhang Ge, Jiantao Lin, Guibao Shen, Jiawei Feng, Tao Hu, Xinli Xu, Ying-Cong Chen,
• Abstract要約: PRMは、様々な素材で測光ステレオ画像をレンダリングし、その目的のために照明を行う。 画像レンダリングの柔軟性を向上させるために、リアルタイム物理ベースレンダリング(PBR)手法と、オンライン画像のメッシュ仕様化を取り入れた。
• 参考スコア（独自算出の注目度）: 18.95196627599738
• License:
• Abstract: We propose PRM, a novel photometric stereo based large reconstruction model to reconstruct high-quality meshes with fine-grained local details. Unlike previous large reconstruction models that prepare images under fixed and simple lighting as both input and supervision, PRM renders photometric stereo images by varying materials and lighting for the purposes, which not only improves the precise local details by providing rich photometric cues but also increases the model robustness to variations in the appearance of input images. To offer enhanced flexibility of images rendering, we incorporate a real-time physically-based rendering (PBR) method and mesh rasterization for online images rendering. Moreover, in employing an explicit mesh as our 3D representation, PRM ensures the application of differentiable PBR, which supports the utilization of multiple photometric supervisions and better models the specular color for high-quality geometry optimization. Our PRM leverages photometric stereo images to achieve high-quality reconstructions with fine-grained local details, even amidst sophisticated image appearances. Extensive experiments demonstrate that PRM significantly outperforms other models.
• Abstract（参考訳）: 局所的な微細な細部で高品質なメッシュを再構築するための光度ステレオベース大規模再構成モデルであるPRMを提案する。 入力と監視の両方に固定された単純な照明下で画像を作成する以前の大規模な再構成モデルとは異なり、PRMは様々な素材による測光ステレオ画像をレンダリングし、リッチな測光キューを提供することで正確な局所的詳細を向上するだけでなく、入力画像の外観の変動にモデルロバスト性を高める。 画像レンダリングの柔軟性を向上させるために、リアルタイム物理ベースレンダリング(PBR)手法とメッシュラスタライゼーションをオンライン画像レンダリングに組み込んだ。 さらに、当社の3D表現として明示的なメッシュを用いる場合、PRMは、複数の測光監督装置の利用と高品質な幾何最適化のための特異色の改善を支援する、微分可能なPBRの適用を保証する。 我々のPRMは、高精細な局所的な細部で高画質な立体像を再現するために、高精細な画像の外観でさえも光度ステレオ画像を利用する。 大規模な実験により、PRMは他のモデルよりも大幅に優れていることが示された。

関連論文リスト

• RelitLRM: Generative Relightable Radiance for Large Reconstruction Models [52.672706620003765]
  本稿では,新しい照明下での3Dオブジェクトの高品質なガウススプレイティング表現を生成するためのRelitLRMを提案する。 複雑なキャプチャと遅い最適化を必要とする従来の逆レンダリングとは異なり、RelitLRMはフィードフォワードトランスフォーマーベースのモデルを採用している。 スパースビューフィードフォワードRelitLRMは、最先端の密集ビュー最適化ベースラインに対して、競争力のあるリライティング結果を提供する。
  論文  参考訳（メタデータ） (2024-10-08T17:40:01Z)
• MERLiN: Single-Shot Material Estimation and Relighting for Photometric Stereo [26.032964551717548]
  光度ステレオは通常、表面の正常を正確に回復するために複数の光源を含む複雑なデータ取得装置を必要とする。 MERLiNは、単一の画像ベースの逆レンダリングとリライトを単一の統合フレームワークに統合したアテンションベースの時間ガラスネットワークである。
  論文  参考訳（メタデータ） (2024-09-01T09:32:03Z)
• $R^2$-Mesh: Reinforcement Learning Powered Mesh Reconstruction via Geometry and Appearance Refinement [5.810659946867557]
  Neural Radiance Fields (NeRF)に基づくメッシュ再構成は、コンピュータグラフィックス、仮想現実、医療画像などの様々なアプリケーションで人気がある。 マルチビュー画像からメッシュを段階的に生成し,最適化する新しいアルゴリズムを提案する。 本手法は,メッシュレンダリングの品質と幾何学的品質の両方において,高い競争力とロバストな性能を提供する。
  論文  参考訳（メタデータ） (2024-08-19T16:33:17Z)
• GTR: Improving Large 3D Reconstruction Models through Geometry and Texture Refinement [51.97726804507328]
  マルチビュー画像から3次元メッシュを再構成する手法を提案する。 提案手法は, 変圧器を用いたトリプレーンジェネレータとニューラルレージアンスフィールド(NeRF)モデルを用いた大規模再構成モデルから着想を得たものである。
  論文  参考訳（メタデータ） (2024-06-09T05:19:24Z)
• Spectral Graphormer: Spectral Graph-based Transformer for Egocentric Two-Hand Reconstruction using Multi-View Color Images [33.70056950818641]
  マルチビューRGB画像から2つの高忠実度ハンドを再構成するトランスフォーマーベースの新しいフレームワークを提案する。 本研究では, 実データへの合成学習モデルの一般化を実証し, 現実的な両手再構成を実現できることを示す。
  論文  参考訳（メタデータ） (2023-08-21T20:07:02Z)
• High-Quality RGB-D Reconstruction via Multi-View Uncalibrated Photometric Stereo and Gradient-SDF [48.29050063823478]
  本稿では、カメラのポーズ、照明、アルベド、表面の正規化に取り組み、新しい多視点RGB-Dベースの再構成手法を提案する。 提案手法は,特定の物理モデルを用いて画像描画過程を定式化し,実際の表面の体積量を最適化する。
  論文  参考訳（メタデータ） (2022-10-21T19:09:08Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer [78.91753256634453]
  そこで本研究では,単体画像から固有物体特性を推定する難題について,微分可能量を用いて検討する。 そこで本研究では、スペクトル化とレイトレーシングを組み合わせることで、これらの効果をサポートするハイブリッド微分可能なDIBR++を提案する。 より高度な物理ベースの微分可能値と比較すると、DIBR++はコンパクトで表現力のあるモデルであるため、高い性能を持つ。
  論文  参考訳（メタデータ） (2021-10-30T01:59:39Z)
• PaMIR: Parametric Model-Conditioned Implicit Representation for Image-based Human Reconstruction [67.08350202974434]
  本研究では,パラメトリックボディモデルと自由形深部暗黙関数を組み合わせたパラメトリックモデル記述型暗黙表現(PaMIR)を提案する。 本手法は, 挑戦的なポーズや衣料品のタイプにおいて, 画像に基づく3次元再構築のための最先端性能を実現する。
  論文  参考訳（メタデータ） (2020-07-08T02:26:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。