論文の概要: Endo-4DGX: Robust Endoscopic Scene Reconstruction and Illumination Correction with Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2506.23308v1
• Date: Sun, 29 Jun 2025 15:54:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.82203
• Title: Endo-4DGX: Robust Endoscopic Scene Reconstruction and Illumination Correction with Gaussian Splatting
• Title（参考訳）: Endo-4DGX : ガウススプラッティングによる内視鏡的画像再構成と照度補正
• Authors: Yiming Huang, Long Bai, Beilei Cui, Yanheng Li, Tong Chen, Jie Wang, Jinlin Wu, Zhen Lei, Hongbin Liu, Hongliang Ren,
• Abstract要約: Endo-4DGXは照明適応型ガウススプラッティングを用いた新しい再構成法である。 ガウスレベルの準領域光度をモデル化するための領域認識拡張モジュールを提案する。 我々は、照度適応最適化のために、通常レベルへの悪暴露から外観を回復するために露光制御損失を用いる。
• 参考スコア（独自算出の注目度）: 19.767101860583242
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Accurate reconstruction of soft tissue is crucial for advancing automation in image-guided robotic surgery. The recent 3D Gaussian Splatting (3DGS) techniques and their variants, 4DGS, achieve high-quality renderings of dynamic surgical scenes in real-time. However, 3D-GS-based methods still struggle in scenarios with varying illumination, such as low light and over-exposure. Training 3D-GS in such extreme light conditions leads to severe optimization problems and devastating rendering quality. To address these challenges, we present Endo-4DGX, a novel reconstruction method with illumination-adaptive Gaussian Splatting designed specifically for endoscopic scenes with uneven lighting. By incorporating illumination embeddings, our method effectively models view-dependent brightness variations. We introduce a region-aware enhancement module to model the sub-area lightness at the Gaussian level and a spatial-aware adjustment module to learn the view-consistent brightness adjustment. With the illumination adaptive design, Endo-4DGX achieves superior rendering performance under both low-light and over-exposure conditions while maintaining geometric accuracy. Additionally, we employ an exposure control loss to restore the appearance from adverse exposure to the normal level for illumination-adaptive optimization. Experimental results demonstrate that Endo-4DGX significantly outperforms combinations of state-of-the-art reconstruction and restoration methods in challenging lighting environments, underscoring its potential to advance robot-assisted surgical applications. Our code is available at https://github.com/lastbasket/Endo-4DGX.
• Abstract（参考訳）: 画像誘導ロボット手術における軟部組織の正確な再構築は, 自動化の推進に不可欠である。 最近の3D Gaussian Splatting(3DGS)技術とその変種である4DGSは、動的手術シーンをリアルタイムに高品質にレンダリングする。 しかし、3D-GSベースの手法は、低照度や過剰露光といった様々な照明のシナリオで依然として苦戦している。 このような極端な光条件下での3D-GSのトレーニングは、厳しい最適化問題とレンダリング品質の破壊につながる。 これらの課題に対処するために,照度適応型ガウス平滑化法であるEndo-4DGXを提案する。 照明埋め込みを取り入れることで、ビュー依存の明るさ変動を効果的にモデル化する。 本研究では、ガウスレベルのサブ領域輝度をモデル化するための領域認識拡張モジュールと、ビュー一貫性の輝度調整を学習するための空間認識調整モジュールを導入する。 照明適応設計により、Endo-4DGXは、幾何精度を維持しつつ、低照度と過露光条件の両方において優れたレンダリング性能を達成する。 さらに、照度適応最適化のために、露出制御損失を用いて、通常レベルへの悪暴露から外観を復元する。 実験の結果,Endo-4DGXは照明環境への挑戦において,最先端の再建法と修復法の組み合わせよりも有意に優れており,ロボットによる外科的応用を推し進める可能性が示唆された。 私たちのコードはhttps://github.com/lastbasket/Endo-4DGXで利用可能です。

関連論文リスト

• Generalizable and Relightable Gaussian Splatting for Human Novel View Synthesis [49.67420486373202]
  GRGSは、多彩な照明条件下での高忠実なヒューマン・ノベル・ビュー・シンセサイザーのための一般的な3Dガウスのフレームワークである。 我々は, 精密深度および表面の正常度を予測するために, 合成依存データに基づいて学習した照明対応幾何微細化(LGR)モジュールを提案する。
  論文  参考訳（メタデータ） (2025-05-27T17:59:47Z)
• Luminance-GS: Adapting 3D Gaussian Splatting to Challenging Lighting Conditions with View-Adaptive Curve Adjustment [46.60106452798745]
  3DGSを用いた照明条件下での高品質な新規ビュー合成を実現するための新しいアプローチであるLuminance-GSを紹介する。 ビューごとのカラーマトリクスマッピングとビュー適応曲線調整を採用することで、Luminance-GSは様々な照明条件でSOTA(State-of-the-art)結果を達成する。 以前のNeRFおよび3DGSベースのベースラインと比較して、Luminance-GSは再現性を改善したリアルタイムレンダリング速度を提供する。
  論文  参考訳（メタデータ） (2025-04-02T08:54:57Z)
• LITA-GS: Illumination-Agnostic Novel View Synthesis via Reference-Free 3D Gaussian Splatting and Physical Priors [14.160637565120231]
  LITA-GSは、参照不要な3DGSおよび物理前駆体を用いた、照度に依存しない新規なビュー合成法である。 我々は、シーン構造とオブジェクトの外観の最適化を容易にする照明に依存しない構造描画戦略を開発した。 我々はLITA-GSの訓練のための教師なし戦略を採用し、LITA-GSが最先端(SOTA)のNeRF法を超越していることを示す広範な実験を行った。
  論文  参考訳（メタデータ） (2025-03-31T20:44:39Z)
• D3DR: Lighting-Aware Object Insertion in Gaussian Splatting [48.80431740983095]
  D3DRと呼ばれる3DGS並列化オブジェクトを3DGSシーンに挿入する手法を提案する。 我々は、現実世界のデータに基づいて訓練された拡散モデルの進歩を活用し、正しいシーンライティングを暗黙的に理解する。 提案手法を既存手法と比較することにより,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2025-03-09T19:48:00Z)
• LumiGauss: Relightable Gaussian Splatting in the Wild [15.11759492990967]
  本稿では,LumiGaussについて紹介する。LumiGaussは2次元ガウススプラッティングによるシーンの3次元再構成と環境照明を実現する技術である。 提案手法は高品質なシーン再構成を実現し,新しい環境マップ下でのリアルな照明合成を実現する。 提案手法をNeRF-OSRデータセット上で検証し,ベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-06T23:41:57Z)
• Event3DGS: Event-Based 3D Gaussian Splatting for High-Speed Robot Egomotion [54.197343533492486]
  Event3DGSは高速移動下で高忠実度3D構造と外観を再構築することができる。 複数の合成および実世界のデータセットの実験は、既存のイベントベースの高密度な3Dシーン再構築フレームワークと比較して、Event3DGSの優位性を示している。 また, 構造的精度を損なうことなく, 外観の忠実度をより高められるように, フレームベースで数回の動特性測定を再構成プロセスに組み込むことも可能である。
  論文  参考訳（メタデータ） (2024-06-05T06:06:03Z)
• GS-IR: 3D Gaussian Splatting for Inverse Rendering [71.14234327414086]
  3次元ガウス散乱(GS)に基づく新しい逆レンダリング手法GS-IRを提案する。 我々は、未知の照明条件下で撮影された多視点画像からシーン形状、表面物質、環境照明を推定するために、新しいビュー合成のための最高のパフォーマンス表現であるGSを拡張した。 フレキシブルかつ表現力のあるGS表現は、高速かつコンパクトな幾何再構成、フォトリアリスティックな新規ビュー合成、有効物理ベースレンダリングを実現する。
  論文  参考訳（メタデータ） (2023-11-26T02:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。