論文の概要: 4D Monocular Surgical Reconstruction under Arbitrary Camera Motions
- arxiv url: http://arxiv.org/abs/2602.17473v1
- Date: Thu, 19 Feb 2026 15:37:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-20 15:21:29.133138
- Title: 4D Monocular Surgical Reconstruction under Arbitrary Camera Motions
- Title（参考訳）: 任意カメラ動作による4次元単眼手術
- Authors: Jiwei Shan, Zeyu Cai, Cheng-Tai Hsieh, Yirui Li, Hao Liu, Lijun Han, Hesheng Wang, Shing Shin Cheng,
- Abstract要約: Local-EndoGSは、任意のカメラモーションを持つ単眼内視鏡シークエンスのための高品質な4D再構成フレームワークである。
そこで我々は,Local-EndoGSが外観品質と幾何学において,最先端の手法より一貫して優れていることを示す。
- 参考スコア（独自算出の注目度）: 21.36069198688806
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reconstructing deformable surgical scenes from endoscopic videos is challenging and clinically important. Recent state-of-the-art methods based on implicit neural representations or 3D Gaussian splatting have made notable progress. However, most are designed for deformable scenes with fixed endoscope viewpoints and rely on stereo depth priors or accurate structure-from-motion for initialization and optimization, limiting their ability to handle monocular sequences with large camera motion in real clinical settings. To address this, we propose Local-EndoGS, a high-quality 4D reconstruction framework for monocular endoscopic sequences with arbitrary camera motion. Local-EndoGS introduces a progressive, window-based global representation that allocates local deformable scene models to each observed window, enabling scalability to long sequences with substantial motion. To overcome unreliable initialization without stereo depth or accurate structure-from-motion, we design a coarse-to-fine strategy integrating multi-view geometry, cross-window information, and monocular depth priors, providing a robust foundation for optimization. We further incorporate long-range 2D pixel trajectory constraints and physical motion priors to improve deformation plausibility. Experiments on three public endoscopic datasets with deformable scenes and varying camera motions show that Local-EndoGS consistently outperforms state-of-the-art methods in appearance quality and geometry. Ablation studies validate the effectiveness of our key designs. Code will be released upon acceptance at: https://github.com/IRMVLab/Local-EndoGS.
- Abstract（参考訳）: 内視鏡的ビデオから変形可能な手術シーンを再構築することは困難であり、臨床的に重要である。
暗黙の神経表現や3次元ガウススプラッティングに基づく最近の最先端の手法は顕著な進歩を遂げた。
しかし、そのほとんどは、固定された内視鏡視点を持つ変形可能なシーンのために設計されており、初期化と最適化のためにステレオ深度や正確な構造に依存しており、実際の臨床環境での大きなカメラモーションでモノクロシーケンスを扱う能力を制限する。
そこで我々は,任意のカメラモーションを持つ単眼内視鏡画像の高品質な4次元再構成フレームワークであるLocal-EndoGSを提案する。
Local-EndoGSはプログレッシブなウィンドウベースのグローバル表現を導入し、各観測ウィンドウに局所的な変形可能なシーンモデルを割り当てる。
立体深度や正確な動きを伴わない信頼できない初期化を克服するため,多視点幾何,クロスウィンドウ情報,モノクロ深度を組み込んだ粗大な戦略を設計し,最適化のための堅牢な基盤を提供する。
さらに、変形可塑性を向上させるために、長距離2次元画素軌跡制約と物理運動を組み込む。
変形可能なシーンと様々なカメラモーションを持つ3つの公開内視鏡データセットの実験により、Local-EndoGSは外観品質と幾何学における最先端の手法を一貫して上回っていることが示された。
アブレーション研究は、我々のキーデザインの有効性を検証する。
コードは https://github.com/IRMVLab/Local-EndoGS.com で公開される。
関連論文リスト
- Motion4D: Learning 3D-Consistent Motion and Semantics for 4D Scene Understanding [54.859943475818234]
基礎モデルからの2次元先行を統一された4次元ガウススプラッティング表現に統合する新しいフレームワークであるMotion4Dを提案する。
1) 局所的な一貫性を維持するために連続的に動き場と意味体を更新する逐次最適化,2) 長期的コヒーレンスのために全ての属性を共同で洗練するグローバル最適化,である。
提案手法は,ポイントベーストラッキング,ビデオオブジェクトセグメンテーション,新しいビュー合成など,多様なシーン理解タスクにおいて,2次元基礎モデルと既存の3Dベースアプローチの両方に優れる。
論文 参考訳（メタデータ） (2025-12-03T09:32:56Z) - EndoWave: Rational-Wavelet 4D Gaussian Splatting for Endoscopic Reconstruction [18.43808203690038]
内視鏡的シナリオでは、光学的不整合、非剛性組織の動き、ビュー依存ハイライトなど、ユニークな課題が提示される。
3DGSをベースとしたほとんどの手法は、3DGSを最適化するための外観制約のみに依存するが、この文脈では不十分であることが多い。
本稿では,光学フローに基づく幾何制約と多分解能有理ウェーブレット監視を組み込んだEdoWaveを提案する。
論文 参考訳（メタデータ） (2025-10-27T07:45:17Z) - EndoFlow-SLAM: Real-Time Endoscopic SLAM with Flow-Constrained Gaussian Splatting [7.7956059927002705]
光学的フローロスを幾何学的制約として導入し、シーンの3次元構造とカメラモーションの両方を効果的に制約する。
さらに,SLAMシステムにおけるシーン表現を改善するために,キーフレームに対応する視点に着目して3DGSの洗練戦略を改善する。
提案手法は,新しいビュー合成とポーズ推定において,既存の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2025-06-26T16:06:46Z) - DGS-LRM: Real-Time Deformable 3D Gaussian Reconstruction From Monocular Videos [52.46386528202226]
Deformable Gaussian Splats Large Reconstruction Model (DGS-LRM)を紹介する。
動的シーンのモノクロポーズビデオから変形可能な3Dガウススプラットを予測する最初のフィードフォワード法である。
最先端のモノクロビデオ3D追跡手法と同等の性能を発揮する。
論文 参考訳（メタデータ） (2025-06-11T17:59:58Z) - Free-DyGS: Camera-Pose-Free Scene Reconstruction for Dynamic Surgical Videos with Gaussian Splatting [17.0449317212827]
高速再構築のための新しいフレームワーク,textitFree-DyGSを提案する。
このフレームワークは、フレーム・バイ・フレーム・トレーニングスキーム全体にわたって全クリップ変形を保存するために、新しい振り返り変形再カプセル化(Retrospective deformation Recapitulation, RDR)戦略を備えている。
論文 参考訳（メタデータ） (2024-09-02T07:28:14Z) - FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos [79.50191812646125]
内視鏡的シーンの再構築は、外科手術後の分析から教育訓練まで、様々な医療応用にとって重要な要素である。
変形組織の非常にダイナミックな環境下での移動内視鏡の挑戦的なセットアップに着目する。
複数重重なり合う4次元ニューラルラジアンスフィールド(NeRF)への暗黙的なシーン分離と、再構成とカメラのスクラッチからのポーズを協調的に最適化するプログレッシブ最適化手法を提案する。
これにより、使いやすさが向上し、5000フレーム以上の手術ビデオの処理に間に合うように復元能力を拡張できる。
論文 参考訳（メタデータ） (2024-03-18T19:13:02Z) - EndoGS: Deformable Endoscopic Tissues Reconstruction with Gaussian Splatting [20.848027172010358]
変形性内視鏡組織再建に対する Gaussian Splatting 法を施行した。
提案手法は,動的シーンを扱うための変形場,空間時空間マスクを用いた深度誘導型監視,表面整列正規化項を含む。
結果として、EndoGSは単一視点ビデオ、推定深度マップ、ラベル付きツールマスクから高品質な変形可能な内視鏡組織を再構成しレンダリングする。
論文 参考訳（メタデータ） (2024-01-21T16:14:04Z) - Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model [76.64071133839862]
モノクロRGBビデオから一般的なデフォーミングシーンをキャプチャすることは、多くのコンピュータグラフィックスや視覚アプリケーションにとって不可欠である。
提案手法であるUb4Dは、大きな変形を処理し、閉塞領域での形状補完を行い、可変ボリュームレンダリングを用いて、単眼のRGBビデオを直接操作することができる。
我々の新しいデータセットの結果は公開され、表面の復元精度と大きな変形に対する堅牢性の観点から、技術の現状が明らかに改善されていることを実証する。
論文 参考訳（メタデータ） (2022-06-16T17:59:54Z) - MoCaNet: Motion Retargeting in-the-wild via Canonicalization Networks [77.56526918859345]
そこで本研究では,制御された環境から3次元動作タスクを実現する新しいフレームワークを提案する。
モーションキャプチャシステムや3D再構成手順を使わずに、2Dモノクロ映像のキャラクタから3Dキャラクタへの体動を可能にする。
論文 参考訳（メタデータ） (2021-12-19T07:52:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。