論文の概要: PR-ENDO: Physically Based Relightable Gaussian Splatting for Endoscopy

• arxiv url: http://arxiv.org/abs/2411.12510v1
• Date: Tue, 19 Nov 2024 13:52:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:36:31.934927
• Title: PR-ENDO: Physically Based Relightable Gaussian Splatting for Endoscopy
• Title（参考訳）: PR-ENDO : 内視鏡用物理ベース可照ガウススプラッティング
• Authors: Joanna Kaleta, Weronika Smolak-Dyżewska, Dawid Malarz, Diego Dall'Alba, Przemysław Korzeniowski, Przemysław Spurek,
• Abstract要約: 本稿では,内視鏡の複雑な取得条件に合わせて,物理ベースで再現可能なモデル内で3D Splattingを利用するフレームワークであるPR-ENDOを提案する。 提案手法は,ベースライン手法に比べて画質が優れていた。
• 参考スコア（独自算出の注目度）: 1.28795255913358
• License:
• Abstract: Endoscopic procedures are crucial for colorectal cancer diagnosis, and three-dimensional reconstruction of the environment for real-time novel-view synthesis can significantly enhance diagnosis. We present PR-ENDO, a framework that leverages 3D Gaussian Splatting within a physically based, relightable model tailored for the complex acquisition conditions in endoscopy, such as restricted camera rotations and strong view-dependent illumination. By exploiting the connection between the camera and light source, our approach introduces a relighting model to capture the intricate interactions between light and tissue using physically based rendering and MLP. Existing methods often produce artifacts and inconsistencies under these conditions, which PR-ENDO overcomes by incorporating a specialized diffuse MLP that utilizes light angles and normal vectors, achieving stable reconstructions even with limited training camera rotations. We benchmarked our framework using a publicly available dataset and a newly introduced dataset with wider camera rotations. Our methods demonstrated superior image quality compared to baseline approaches.
• Abstract（参考訳）: 大腸癌の診断には内視鏡的治療が不可欠であり, リアルタイムな新規画像合成のための環境の3次元再構築は診断を著しく向上させる可能性がある。 本稿では,3次元ガウス散乱を物理ベースで再現可能なフレームワークであるPR-ENDOについて述べる。 カメラと光源の接続を利用して,光と組織の間の複雑な相互作用を物理的にベースとしたレンダリングとMDPを用いて捉えるリライティングモデルを提案する。 既存の手法はしばしばこれらの条件下で人工物や不整合を生成するが、PR-ENDOは光角度と通常のベクトルを利用する特殊な拡散MLPを導入し、限られたカメラ回転でも安定した再構成を実現する。 我々は、公開データセットと、より広いカメラ回転を備えた新しく導入されたデータセットを使用して、我々のフレームワークをベンチマークした。 提案手法は,ベースライン手法に比べて画質が優れていた。

関連論文リスト

• PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
  PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。 本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
  論文  参考訳（メタデータ） (2024-10-29T15:28:15Z)
• RelitLRM: Generative Relightable Radiance for Large Reconstruction Models [52.672706620003765]
  本稿では,新しい照明下での3Dオブジェクトの高品質なガウススプレイティング表現を生成するためのRelitLRMを提案する。 複雑なキャプチャと遅い最適化を必要とする従来の逆レンダリングとは異なり、RelitLRMはフィードフォワードトランスフォーマーベースのモデルを採用している。 スパースビューフィードフォワードRelitLRMは、最先端の密集ビュー最適化ベースラインに対して、競争力のあるリライティング結果を提供する。
  論文  参考訳（メタデータ） (2024-10-08T17:40:01Z)
• Deep intra-operative illumination calibration of hyperspectral cameras [73.08443963791343]
  ハイパースペクトルイメージング (HSI) は, 様々な手術応用に期待できる新しい画像モダリティとして出現している。 手術室における照明条件の動的変化がHSIアプリケーションの性能に劇的な影響を及ぼすことを示す。 手術中におけるハイパースペクトル画像の自動再構成のための新しい学習ベースアプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-11T08:30:03Z)
• FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos [79.50191812646125]
  内視鏡的シーンの再構築は、外科手術後の分析から教育訓練まで、様々な医療応用にとって重要な要素である。 変形組織の非常にダイナミックな環境下での移動内視鏡の挑戦的なセットアップに着目する。 複数重重なり合う4次元ニューラルラジアンスフィールド(NeRF)への暗黙的なシーン分離と、再構成とカメラのスクラッチからのポーズを協調的に最適化するプログレッシブ最適化手法を提案する。 これにより、使いやすさが向上し、5000フレーム以上の手術ビデオの処理に間に合うように復元能力を拡張できる。
  論文  参考訳（メタデータ） (2024-03-18T19:13:02Z)
• Domain adaptation strategies for 3D reconstruction of the lumbar spine using real fluoroscopy data [9.21828361691977]
  本研究は整形外科手術における手術ナビゲーション導入における重要な障害に対処するものである。 これは、少数の蛍光画像から脊椎の3次元解剖モデルを生成するためのアプローチを示す。 これまでの合成データに基づく研究の精度に匹敵する84%のF1スコアを達成しました。
  論文  参考訳（メタデータ） (2024-01-29T10:22:45Z)
• TensoIR: Tensorial Inverse Rendering [51.57268311847087]
  テンソルIRはテンソル分解とニューラルフィールドに基づく新しい逆レンダリング手法である。 TensoRFは、放射場モデリングのための最先端のアプローチである。
  論文  参考訳（メタデータ） (2023-04-24T21:39:13Z)
• Tracking monocular camera pose and deformation for SLAM inside the human body [2.094821665776961]
  カメラのポーズと3Dシーンの変形を同時に追跡する新しい手法を提案する。 この方法は照明不変の測光法を用いて画像の特徴を追跡し、カメラの動きと変形を推定する。 以上の結果から, 複雑なシーンにおいて, 変形のレベルが増大する中で, 方法の精度とロバスト性を示すことが示唆された。
  論文  参考訳（メタデータ） (2022-04-18T13:25:23Z)
• A parameter refinement method for Ptychography based on Deep Learning concepts [55.41644538483948]
  伝播距離、位置誤差、部分的コヒーレンスにおける粗いパラメトリゼーションは、しばしば実験の生存性を脅かす。 最新のDeep Learningフレームワークは、セットアップの不整合を自律的に補正するために使用され、ポチコグラフィーの再構築の質が向上する。 我々は,elettra シンクロトロン施設のツインミックビームラインで取得した合成データセットと実データの両方でシステムをテストした。
  論文  参考訳（メタデータ） (2021-05-18T10:15:17Z)
• 3D Reconstruction and Alignment by Consumer RGB-D Sensors and Fiducial Planar Markers for Patient Positioning in Radiation Therapy [1.7744342894757368]
  本稿では,安価な消費者レベルのRGB-Dセンサを用いた迅速かつ安価な患者位置決め法を提案する。 提案手法は,手持ちのRGB-Dセンサから記録された実時間,人工的,自然な視覚的ランドマークを融合する3次元再構成手法に依存する。
  論文  参考訳（メタデータ） (2021-03-22T20:20:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。