論文の概要: PR-ENDO: Physically Based Relightable Gaussian Splatting for Endoscopy
- arxiv url: http://arxiv.org/abs/2411.12510v2
- Date: Wed, 09 Jul 2025 10:50:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-10 15:30:51.94042
- Title: PR-ENDO: Physically Based Relightable Gaussian Splatting for Endoscopy
- Title（参考訳）: PR-ENDO : 内視鏡用物理ベース可照ガウススプラッティング
- Authors: Joanna Kaleta, Weronika Smolak-Dyżewska, Dawid Malarz, Diego Dall'Alba, Przemysław Korzeniowski, Przemysław Spurek,
- Abstract要約: 内視鏡画像からの3次元再構成と新規視認性合成は診断の増強に有望なツールである。
本稿では,1つの光源がカメラと密に一致している内視鏡画像のユニークな特性を利用した,新しい3D再構成フレームワークPR-ENDOを提案する。
PR-ENDOは、パブリックデータセットと社内データセットのベースライン手法と比較して、優れた再構築品質を実現する。
- 参考スコア（独自算出の注目度）: 1.28795255913358
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Endoluminal endoscopic procedures are essential for diagnosing colorectal cancer and other severe conditions in the digestive tract, urogenital system, and airways. 3D reconstruction and novel-view synthesis from endoscopic images are promising tools for enhancing diagnosis. Moreover, integrating physiological deformations and interaction with the endoscope enables the development of simulation tools from real video data. However, constrained camera trajectories and view-dependent lighting create artifacts, leading to inaccurate or overfitted reconstructions. We present PR-ENDO, a novel 3D reconstruction framework leveraging the unique property of endoscopic imaging, where a single light source is closely aligned with the camera. Our method separates light effects from tissue properties. PR-ENDO enhances 3D Gaussian Splatting with a physically based relightable model. We boost the traditional light transport formulation with a specialized MLP capturing complex light-related effects while ensuring reduced artifacts and better generalization across novel views. PR-ENDO achieves superior reconstruction quality compared to baseline methods on both public and in-house datasets. Unlike existing approaches, PR-ENDO enables tissue modifications while preserving a physically accurate response to light, making it closer to real-world clinical use.
- Abstract（参考訳）: 内視鏡的内視鏡検査は,消化管,尿路系,気道の大腸癌などの重症疾患の診断に必須である。
内視鏡画像からの3次元再構成と新規視認性合成は診断の増強に有望なツールである。
さらに、生理的変形と内視鏡との相互作用を統合することで、実映像データからシミュレーションツールを開発することができる。
しかし、制約のあるカメラ軌道とビュー依存の照明はアーチファクトを生成し、不正確なあるいは過度に適合した再構築をもたらす。
本稿では,1つの光源がカメラと密に一致している内視鏡画像のユニークな特性を利用した,新しい3D再構成フレームワークPR-ENDOを提案する。
組織特性から光効果を分離する。
PR-ENDOは物理的に光沢のあるモデルで3Dガウススプラッティングを強化する。
我々は,従来の光輸送の定式化を,複雑な光関連効果を捉えつつ,成果物の低減と新規な視点の一般化を図りながら促進する。
PR-ENDOは、パブリックデータセットと社内データセットのベースライン手法と比較して、優れた再構築品質を実現する。
既存のアプローチとは異なり、PR-ENDOは光に対する物理的に正確な反応を保ちながら組織の変化を可能にし、実際の臨床利用に近づいた。
関連論文リスト
- IXGS-Intraoperative 3D Reconstruction from Sparse, Arbitrarily Posed Real X-rays [1.2721397985664153]
R2$-Gaussian splatting frameworkを拡張して、一貫した3Dボリュームを困難な条件下で再構築する。
形態伝達を用いた解剖学的誘導ラジオグラフィ標準化のステップを導入し、ビュー間の視覚的整合性を改善する。
論文 参考訳（メタデータ） (2025-04-20T18:28:13Z) - PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - RelitLRM: Generative Relightable Radiance for Large Reconstruction Models [52.672706620003765]
本稿では,新しい照明下での3Dオブジェクトの高品質なガウススプレイティング表現を生成するためのRelitLRMを提案する。
複雑なキャプチャと遅い最適化を必要とする従来の逆レンダリングとは異なり、RelitLRMはフィードフォワードトランスフォーマーベースのモデルを採用している。
スパースビューフィードフォワードRelitLRMは、最先端の密集ビュー最適化ベースラインに対して、競争力のあるリライティング結果を提供する。
論文 参考訳（メタデータ） (2024-10-08T17:40:01Z) - Deep intra-operative illumination calibration of hyperspectral cameras [73.08443963791343]
ハイパースペクトルイメージング (HSI) は, 様々な手術応用に期待できる新しい画像モダリティとして出現している。
手術室における照明条件の動的変化がHSIアプリケーションの性能に劇的な影響を及ぼすことを示す。
手術中におけるハイパースペクトル画像の自動再構成のための新しい学習ベースアプローチを提案する。
論文 参考訳（メタデータ） (2024-09-11T08:30:03Z) - FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos [79.50191812646125]
内視鏡的シーンの再構築は、外科手術後の分析から教育訓練まで、様々な医療応用にとって重要な要素である。
変形組織の非常にダイナミックな環境下での移動内視鏡の挑戦的なセットアップに着目する。
複数重重なり合う4次元ニューラルラジアンスフィールド(NeRF)への暗黙的なシーン分離と、再構成とカメラのスクラッチからのポーズを協調的に最適化するプログレッシブ最適化手法を提案する。
これにより、使いやすさが向上し、5000フレーム以上の手術ビデオの処理に間に合うように復元能力を拡張できる。
論文 参考訳（メタデータ） (2024-03-18T19:13:02Z) - Domain adaptation strategies for 3D reconstruction of the lumbar spine using real fluoroscopy data [9.21828361691977]
本研究は整形外科手術における手術ナビゲーション導入における重要な障害に対処するものである。
これは、少数の蛍光画像から脊椎の3次元解剖モデルを生成するためのアプローチを示す。
これまでの合成データに基づく研究の精度に匹敵する84%のF1スコアを達成しました。
論文 参考訳（メタデータ） (2024-01-29T10:22:45Z) - TensoIR: Tensorial Inverse Rendering [51.57268311847087]
テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。
TensoRFは、放射場モデリングのための最先端のアプローチである。
論文 参考訳（メタデータ） (2023-04-24T21:39:13Z) - Tracking monocular camera pose and deformation for SLAM inside the human
body [2.094821665776961]
カメラのポーズと3Dシーンの変形を同時に追跡する新しい手法を提案する。
この方法は照明不変の測光法を用いて画像の特徴を追跡し、カメラの動きと変形を推定する。
以上の結果から, 複雑なシーンにおいて, 変形のレベルが増大する中で, 方法の精度とロバスト性を示すことが示唆された。
論文 参考訳（メタデータ） (2022-04-18T13:25:23Z) - A parameter refinement method for Ptychography based on Deep Learning
concepts [55.41644538483948]
伝播距離、位置誤差、部分的コヒーレンスにおける粗いパラメトリゼーションは、しばしば実験の生存性を脅かす。
最新のDeep Learningフレームワークは、セットアップの不整合を自律的に補正するために使用され、ポチコグラフィーの再構築の質が向上する。
我々は,elettra シンクロトロン施設のツインミックビームラインで取得した合成データセットと実データの両方でシステムをテストした。
論文 参考訳（メタデータ） (2021-05-18T10:15:17Z) - 3D Reconstruction and Alignment by Consumer RGB-D Sensors and Fiducial
Planar Markers for Patient Positioning in Radiation Therapy [1.7744342894757368]
本稿では,安価な消費者レベルのRGB-Dセンサを用いた迅速かつ安価な患者位置決め法を提案する。
提案手法は,手持ちのRGB-Dセンサから記録された実時間,人工的,自然な視覚的ランドマークを融合する3次元再構成手法に依存する。
論文 参考訳（メタデータ） (2021-03-22T20:20:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。