論文の概要: EndoPBR: Material and Lighting Estimation for Photorealistic Surgical Simulations via Physically-based Rendering
- arxiv url: http://arxiv.org/abs/2502.20669v1
- Date: Fri, 28 Feb 2025 02:50:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-03 13:42:03.253133
- Title: EndoPBR: Material and Lighting Estimation for Photorealistic Surgical Simulations via Physically-based Rendering
- Title（参考訳）: EndoPBR:物理的レンダリングによるフォトリアリスティック手術シミュレーションの材料と照明推定
- Authors: John J. Han, Jie Ying Wu,
- Abstract要約: 手術シーンにおける3次元視覚におけるラベル付きデータセットの欠如は、堅牢な3次元再構成アルゴリズムの開発を阻害する。
内視鏡画像と既知の幾何から物質と照明を推定するための微分可能なレンダリングフレームワークを提案する。
レンダリング方程式で色予測を基底にすることにより、任意のカメラポーズでフォトリアリスティックな画像を生成することができる。
- 参考スコア（独自算出の注目度）: 1.03590082373586
- License:
- Abstract: The lack of labeled datasets in 3D vision for surgical scenes inhibits the development of robust 3D reconstruction algorithms in the medical domain. Despite the popularity of Neural Radiance Fields and 3D Gaussian Splatting in the general computer vision community, these systems have yet to find consistent success in surgical scenes due to challenges such as non-stationary lighting and non-Lambertian surfaces. As a result, the need for labeled surgical datasets continues to grow. In this work, we introduce a differentiable rendering framework for material and lighting estimation from endoscopic images and known geometry. Compared to previous approaches that model lighting and material jointly as radiance, we explicitly disentangle these scene properties for robust and photorealistic novel view synthesis. To disambiguate the training process, we formulate domain-specific properties inherent in surgical scenes. Specifically, we model the scene lighting as a simple spotlight and material properties as a bidirectional reflectance distribution function, parameterized by a neural network. By grounding color predictions in the rendering equation, we can generate photorealistic images at arbitrary camera poses. We evaluate our method with various sequences from the Colonoscopy 3D Video Dataset and show that our method produces competitive novel view synthesis results compared with other approaches. Furthermore, we demonstrate that synthetic data can be used to develop 3D vision algorithms by finetuning a depth estimation model with our rendered outputs. Overall, we see that the depth estimation performance is on par with fine-tuning with the original real images.
- Abstract（参考訳）: 手術シーンにおける3Dビジョンにおけるラベル付きデータセットの欠如は、医療領域における堅牢な3D再構成アルゴリズムの開発を阻害する。
一般コンピュータビジョンコミュニティにおけるニューラル・ラディアンス・フィールドや3Dガウス・スプラッティングの人気にもかかわらず、これらのシステムは、静止しない照明や非ランベルト面といった課題のために、手術シーンで一貫して成功しているわけではない。
結果として、ラベル付き外科的データセットの必要性は増え続けている。
そこで本研究では,内視鏡画像と既知の幾何から物質と照明を推定するための,微分可能なレンダリングフレームワークを提案する。
光と物質を放射光として一緒にモデル化する従来のアプローチと比較して、我々はこれらのシーン特性を頑健でフォトリアリスティックなノベルビュー合成のために明示的に切り離す。
トレーニング過程を曖昧にするために,手術シーンに固有のドメイン固有の特性を定式化する。
具体的には、シーン照明を単純なスポットライトとしてモデル化し、ニューラルネットワークによってパラメータ化された双方向反射率分布関数として材料特性をモデル化する。
レンダリング方程式で色予測を基底にすることにより、任意のカメラポーズでフォトリアリスティックな画像を生成することができる。
大腸内視鏡3Dビデオデータセットの様々なシーケンスを用いて本手法の評価を行い,他の手法と比較して競合する新規なビュー合成結果が得られたことを示す。
さらに, 合成データを用いて, 深度推定モデルを出力出力で微調整することにより, 3次元視覚アルゴリズムの開発が可能であることを示す。
全体としては、深度推定性能は元の実画像と同等である。
関連論文リスト
- VI3DRM:Towards meticulous 3D Reconstruction from Sparse Views via Photo-Realistic Novel View Synthesis [22.493542492218303]
視覚的等方性3D再構成モデル (VI3DRM) は、一貫した立体空間内で動作するスパースビュー3D再構成モデルである。
セマンティック情報、色、材料特性、照明の切り離しを容易にすることで、VI3DRMは極めてリアルな画像を生成することができる。
論文 参考訳（メタデータ） (2024-09-12T16:47:57Z) - EndoSparse: Real-Time Sparse View Synthesis of Endoscopic Scenes using Gaussian Splatting [39.60431471170721]
内視鏡画像からの生体組織の3次元再構成は, 様々な重要な下流外科的応用を3D機能で解き放つ鍵となる。
既存の手法では、ビュー合成に様々な高度なニューラルレンダリング技術を採用しているが、スパースな観察しかできない場合には、正確な3D表現の復元に苦慮することが多い。
再建過程において,複数の基盤モデルから事前の知識を活用するフレームワークを提案し,それをtextitEndoSparse と呼ぶ。
論文 参考訳（メタデータ） (2024-07-01T07:24:09Z) - CompNVS: Novel View Synthesis with Scene Completion [83.19663671794596]
本稿では,スパースグリッドに基づくニューラルシーン表現を用いた生成パイプラインを提案する。
画像特徴を3次元空間に符号化し、幾何学的完備化ネットワークとその後のテクスチャ塗布ネットワークを用いて、欠落した領域を外挿する。
フォトリアリスティック画像列は、整合性関連微分可能レンダリングによって最終的に得られる。
論文 参考訳（メタデータ） (2022-07-23T09:03:13Z) - Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
多視点画像観測による材料と照明の協調最適化手法を提案する。
従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
論文 参考訳（メタデータ） (2021-11-24T13:58:20Z) - A Shading-Guided Generative Implicit Model for Shape-Accurate 3D-Aware
Image Synthesis [163.96778522283967]
そこで本研究では,シェーディング誘導型生成暗黙モデルを提案する。
正確な3D形状は、異なる照明条件下でリアルなレンダリングをもたらす必要がある。
複数のデータセットに対する実験により,提案手法が光リアルな3次元画像合成を実現することを示す。
論文 参考訳（メタデータ） (2021-10-29T10:53:12Z) - Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。
既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。
本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-13T15:29:03Z) - Neural Reflectance Fields for Appearance Acquisition [61.542001266380375]
シーン内の任意の3次元点における体積密度, 正規および反射特性をエンコードする新しい深部シーン表現であるニューラルリフレクタンス場を提案する。
我々はこの表現を、任意の視点と光の下でニューラルリフレクタンスフィールドから画像を描画できる物理的にベースとした微分可能光線マーチングフレームワークと組み合わせる。
論文 参考訳（メタデータ） (2020-08-09T22:04:36Z) - Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image
Decomposition [67.9464567157846]
合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。
実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
論文 参考訳（メタデータ） (2020-06-29T12:53:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。