論文の概要: ExtraGS: Enhancing Endoscopic View Extrapolation via Diffusion-Guided 3D Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2607.12785v2
- Date: Wed, 15 Jul 2026 04:45:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-16 12:21:59.635009
- Title: ExtraGS: Enhancing Endoscopic View Extrapolation via Diffusion-Guided 3D Gaussian Splatting
- Title(参考訳): ExGS:拡散誘導型3次元ガウススプラッティングによる内視鏡的視線外挿の促進
- Abstract要約: ExtraGSは、3Dガウススプラッティングによる内視鏡的視線外挿を強化するためのフレームワークである。
その結果,ExtraGSは外挿アーティファクトを著しく減らし,内視鏡の新規なビュー合成における最先端性能を実現していることがわかった。
- 参考スコア(独自算出の注目度): 35.304387516885875
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robot-assisted minimally invasive surgery (MIS) critically depends on reliable endoscopic perception for navigation and safety. However, conventional endoscopes provide only a limited field of view, leaving large portions of the surrounding anatomy unobserved. Recent neural rendering approaches, such as Neural Radiance Fields and 3D Gaussian Splatting, enable novel view synthesis from endoscopic videos, but their reliance on sparse observations often leads to severe artifacts when extrapolating beyond the training trajectory. In this work, we propose ExtraGS, a framework for enhancing endoscopic view extrapolation through diffusion-guided 3D Gaussian Splatting. Starting from an initial reconstruction, we introduce an uncertainty-guided virtual camera sampling strategy to actively explore blind spots and maximize information gain. The rendered views from these sampled locations are refined using a diffusion model to recover plausible anatomical structures, producing pseudo-observations that guide further optimization. To prevent the generated content from degrading reliable regions, we adopt a confidence-weighted fine-tuning strategy when incorporating these pseudo-observations. Extensive experiments on multiple public endoscopic datasets demonstrate that ExtraGS significantly reduces extrapolation artifacts and achieves state-of-the-art performance in endoscopic novel view synthesis.
- Abstract(参考訳): ロボットによる最小侵襲手術(MIS)は、ナビゲーションと安全性に対する信頼性の高い内視鏡的知覚に依存している。
しかし、従来の内視鏡は限られた視野しか提供せず、周囲の解剖学の大部分は観察されていない。
ニューラル・ラディアンス・フィールドや3Dガウス・スプラッティングのような最近のニューラル・レンダリング・アプローチは、内視鏡的ビデオから新しいビュー・シンセサイザーを可能にするが、そのスパース・オブザーバトリーへの依存は、トレーニング軌道を超えて外挿する場合に深刻なアーティファクトを引き起こすことが多い。
本研究では,拡散誘導3次元ガウススプラッティングによる内視鏡的視線外挿機能向上のためのフレームワークであるExtraGSを提案する。
最初の再構築から始めて、盲点を積極的に探索し、情報の獲得を最大化する不確実性誘導仮想カメラサンプリング戦略を導入する。
これらのサンプリングされた場所からのレンダリングされたビューは、拡散モデルを用いて洗練され、可塑性解剖構造を復元し、さらなる最適化を導く擬似観測を生成する。
生成したコンテンツが信頼性のある領域を劣化させないために,これらの疑似観測を取り入れた場合,信頼性の高い微調整戦略を採用する。
複数の公開内視鏡データセットに対する大規模な実験により、ExtraGSは外挿アーティファクトを著しく減らし、内視鏡の新規なビュー合成における最先端のパフォーマンスを達成することが示された。
関連論文リスト
- NRGS-SLAM: Monocular Non-Rigid SLAM for Endoscopy via Deformation-Aware 3D Gaussian Splatting [25.805439969022697]
3次元ガウス法による内視鏡用単分子非剛性SLAMシステムNRGS-SLAMを提案する。
NRGS-SLAMは、最先端の手法よりも精度の高いカメラポーズ推定(RMSEの最大50%の削減)と高品質なフォトリアリスティック再構成を実現する。
論文 参考訳(メタデータ) (2026-02-19T09:03:47Z) - EndoWave: Rational-Wavelet 4D Gaussian Splatting for Endoscopic Reconstruction [18.43808203690038]
内視鏡的シナリオでは、光学的不整合、非剛性組織の動き、ビュー依存ハイライトなど、ユニークな課題が提示される。
3DGSをベースとしたほとんどの手法は、3DGSを最適化するための外観制約のみに依存するが、この文脈では不十分であることが多い。
本稿では,光学フローに基づく幾何制約と多分解能有理ウェーブレット監視を組み込んだEdoWaveを提案する。
論文 参考訳(メタデータ) (2025-10-27T07:45:17Z) - Intern-GS: Vision Model Guided Sparse-View 3D Gaussian Splatting [95.61137026932062]
Intern-GSはスパースビューガウススプラッティングのプロセスを強化する新しいアプローチである。
Intern-GSは多様なデータセットにまたがって最先端のレンダリング品質を実現する。
論文 参考訳(メタデータ) (2025-05-27T05:17:49Z) - IXGS-Intraoperative 3D Reconstruction from Sparse, Arbitrarily Posed Real X-rays [1.2721397985664153]
R2$-Gaussian splatting frameworkを拡張して、一貫した3Dボリュームを困難な条件下で再構築する。
形態伝達を用いた解剖学的誘導ラジオグラフィ標準化のステップを導入し、ビュー間の視覚的整合性を改善する。
論文 参考訳(メタデータ) (2025-04-20T18:28:13Z) - Binocular-Guided 3D Gaussian Splatting with View Consistency for Sparse View Synthesis [53.702118455883095]
本稿では,ガウススプラッティングを用いたスパースビューから新しいビューを合成する新しい手法を提案する。
私たちのキーとなるアイデアは、両眼画像間の両眼立体的一貫性に固有の自己超越を探索することにあります。
我々の手法は最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2024-10-24T15:10:27Z) - EndoSparse: Real-Time Sparse View Synthesis of Endoscopic Scenes using Gaussian Splatting [39.60431471170721]
内視鏡画像からの生体組織の3次元再構成は, 様々な重要な下流外科的応用を3D機能で解き放つ鍵となる。
既存の手法では、ビュー合成に様々な高度なニューラルレンダリング技術を採用しているが、スパースな観察しかできない場合には、正確な3D表現の復元に苦慮することが多い。
再建過程において,複数の基盤モデルから事前の知識を活用するフレームワークを提案し,それをtextitEndoSparse と呼ぶ。
論文 参考訳(メタデータ) (2024-07-01T07:24:09Z) - High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces [18.948630080040576]
内視鏡画像に適用したNeuSを1フレームの深度マップで補足した新しい大腸部分再建法を提案する。
本手法は, 大腸切片を完全にレンダリングし, 表面の見えない部分を捕捉する際の異常な精度を示す。
このブレークスルーは、安定的で一貫してスケールされた再建を達成するための道を開き、がんスクリーニングの手順と治療介入の質を高めることを約束する。
論文 参考訳(メタデータ) (2024-04-20T18:06:26Z) - DPMesh: Exploiting Diffusion Prior for Occluded Human Mesh Recovery [71.6345505427213]
DPMeshは、人間のメッシュリカバリを排除した革新的なフレームワークである。
これは、事前訓練されたテキスト・ツー・イメージ拡散モデルに埋め込まれた対象構造と空間的関係について、より深い拡散に乗じる。
論文 参考訳(メタデータ) (2024-04-01T18:59:13Z) - FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos [79.50191812646125]
内視鏡的シーンの再構築は、外科手術後の分析から教育訓練まで、様々な医療応用にとって重要な要素である。
変形組織の非常にダイナミックな環境下での移動内視鏡の挑戦的なセットアップに着目する。
複数重重なり合う4次元ニューラルラジアンスフィールド(NeRF)への暗黙的なシーン分離と、再構成とカメラのスクラッチからのポーズを協調的に最適化するプログレッシブ最適化手法を提案する。
これにより、使いやすさが向上し、5000フレーム以上の手術ビデオの処理に間に合うように復元能力を拡張できる。
論文 参考訳(メタデータ) (2024-03-18T19:13:02Z) - AiAReSeg: Catheter Detection and Segmentation in Interventional
Ultrasound using Transformers [75.20925220246689]
血管内手術は、電離放射線を用いてカテーテルと血管を可視化するFluoroscopyの黄金標準を用いて行われる。
本研究では、最先端機械学習トランスフォーマアーキテクチャを応用して、軸干渉超音波画像シーケンス中のカテーテルを検出し、セグメント化する手法を提案する。
論文 参考訳(メタデータ) (2023-09-25T19:34:12Z) - Deceptive-NeRF/3DGS: Diffusion-Generated Pseudo-Observations for High-Quality Sparse-View Reconstruction [60.52716381465063]
我々は,限られた入力画像のみを用いて,スパースビュー再構成を改善するために,Deceptive-NeRF/3DGSを導入した。
具体的には,少数視点再構成によるノイズ画像から高品質な擬似観測へ変換する,偽拡散モデルを提案する。
本システムでは,拡散生成擬似観測をトレーニング画像集合に徐々に組み込んで,スパース入力観測を5倍から10倍に高めている。
論文 参考訳(メタデータ) (2023-05-24T14:00:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。