論文の概要: Instrument-Splatting++: Towards Controllable Surgical Instrument Digital Twin Using Gaussian Splatting
- arxiv url: http://arxiv.org/abs/2603.22792v2
- Date: Wed, 25 Mar 2026 04:32:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-26 14:25:25.994542
- Title: Instrument-Splatting++: Towards Controllable Surgical Instrument Digital Twin Using Gaussian Splatting
- Title（参考訳）: インスツルメンツスティング++:ガウススティングを用いた制御可能な手術器具ディジタルツインを目指して
- Authors: Shuojue Yang, Zijian Wu, Chengjiaao Liao, Qian Li, Daiyun Shen, Chang Han Low, Septimiu E. Salcudean, Yueming Jin,
- Abstract要約: 手術器具を高忠実度で制御可能なガウス資産として再構築するフレームワークであるInstrument-Splatting++を提案する。
本研究では, フレームごとの6-DoFのポーズと関節角を無作為な内視鏡的ビデオから再現する意味的ポーズ推定・追跡法を提案する。
本研究では,EndoVis17/18,SAR-RARP,および社内データセットから抽出した配列について検証を行った。
- 参考スコア（独自算出の注目度）: 16.462022846470827
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-quality and controllable digital twins of surgical instruments are critical for Real2Sim in robot-assisted surgery, as they enable realistic simulation, synthetic data generation, and perception learning under novel poses. We present Instrument-Splatting++, a monocular 3D Gaussian Splatting (3DGS) framework that reconstructs surgical instruments as a fully controllable Gaussian asset with high fidelity. Our pipeline starts with part-wise geometry pretraining that injects CAD priors into Gaussian primitives and equips the representation with part-aware semantic rendering. Built on the pretrained model, we propose a semantics-aware pose estimation and tracking (SAPET) method to recover per-frame 6-DoF pose and joint angles from unposed endoscopic videos, where a gripper-tip network trained purely from synthetic semantics provides robust supervision and a loose regularization suppresses singular articulations. Finally, we introduce Robust Texture Learning (RTL), which alternates pose refinement and robust appearance optimization, mitigating pose noise during texture learning. The proposed framework can perform pose estimation and learn realistic texture from unposed videos. We validate our method on sequences extracted from EndoVis17/18, SAR-RARP, and an in-house dataset, showing superior photometric quality and improved geometric accuracy over state-of-the-art baselines. We further demonstrate a downstream keypoint detection task where unseen-pose data augmentation from our controllable instrument Gaussian improves performance.
- Abstract（参考訳）: 手術器具の高品質で制御可能なデジタル双生児は、ロボット支援手術においてReal2Simにとって重要なものであり、現実的なシミュレーション、合成データ生成、新しいポーズ下での知覚学習を可能にする。
手術器具を完全制御可能なガウスアセットとして高忠実度で再構成する,単分子3Dガウススティング(3DGS)フレームワークであるInstrument-Splatting++を提案する。
我々のパイプラインは、CADプリミティブをガウスプリミティブに注入し、その表現に部分認識のセマンティックレンダリングを組み込む、パートワイズ事前トレーニングから始まります。
事前訓練されたモデルに基づいて,フレーム毎の6-DoFポーズと関節角度を復元する意味的ポーズ推定と追跡(SAPET)手法を提案する。
最後に,ロバスト・テクスチャ・ラーニング(RTL)を導入し,テクスチャ・ラーニング中のポーズノイズを軽減し,洗練と堅牢な外観最適化を交互に行う。
提案フレームワークは、ポーズ推定を行い、未提示のビデオから現実的なテクスチャを学習することができる。
本研究では,EndoVis17/18,SAR-RARP,および社内データセットから抽出した配列について検証を行った。
さらに,制御可能なガウシアンによる未確認データ拡張により性能が向上するダウンストリームキーポイント検出タスクを示す。
関連論文リスト
- Diff2DGS: Reliable Reconstruction of Occluded Surgical Scenes via 2D Gaussian Splatting [10.70948053935438]
Diff2DGSは,閉鎖型手術シーンの信頼性3次元再構成のための新しい2段階フレームワークである。
第1段階では、時間的先行性を持つ拡散型ビデオモジュールは、空間的時間的整合性の高い楽器によって遮蔽された組織を塗布する。
第2段階では, 動的組織変形と解剖学的形状を捉えるために, 学習可能な変形モデル (LDM) を用いて2次元ガウススティング (2DGS) を適用した。
Diff2DGSは外観と幾何学の両方において最先端のアプローチより優れ、38.02dBのPSNRに達する
論文 参考訳（メタデータ） (2026-02-20T16:14:21Z) - ERGO: Excess-Risk-Guided Optimization for High-Fidelity Monocular 3D Gaussian Splatting [63.138778159026934]
本稿では,ERGOと呼ばれる過度のリスク分解によって導かれる適応最適化フレームワークを提案する。
ERGOはビュー固有の過剰リスクを動的に推定し、最適化中の損失重みを適応的に調整する。
Google Scanned ObjectsデータセットとOmniObject3Dデータセットの実験は、既存の最先端メソッドよりもERGOの方が優れていることを示している。
論文 参考訳（メタデータ） (2026-02-10T20:44:43Z) - Perceptual Quality Assessment of 3D Gaussian Splatting: A Subjective Dataset and Prediction Metric [76.66966098297986]
3DGSの主観的品質評価データセットである3DGS-QAを提案する。
15種類の物体に対して225の劣化した復元を行い、共通の歪み要因の制御を可能にした。
本モデルでは,ガウス表現から空間的および測光的手がかりを抽出し,構造的に知覚された品質を推定する。
論文 参考訳（メタデータ） (2025-11-11T09:34:20Z) - SPHERE: Semantic-PHysical Engaged REpresentation for 3D Semantic Scene Completion [52.959716866316604]
カメラベース3Dセマンティックシーンコンプリート(SSC)は自動運転システムにおいて重要な課題である。
本稿では,SPHERE (Semantic-PHysical Engaged Representation) を提案する。
SPHEREは、意味情報と物理的情報の共同利用のためのボクセルとガウス表現を統合している。
論文 参考訳（メタデータ） (2025-09-14T09:07:41Z) - UAVTwin: Neural Digital Twins for UAVs using Gaussian Splatting [57.63613048492219]
UAVTwinは,無人航空機(UAV)に埋め込まれた下流モデルの訓練を行うための,実環境からデジタル双生児を作成する方法である。
これは、背景を再構築するための3Dガウススティング(3DGS)と、多様な外観と動作を複数のポーズで表示する制御可能な合成人間モデルを統合することで実現される。
論文 参考訳（メタデータ） (2025-04-02T22:17:30Z) - EVolSplat: Efficient Volume-based Gaussian Splatting for Urban View Synthesis [61.1662426227688]
既存のNeRFおよび3DGSベースの手法は、フォトリアリスティックレンダリングを実現する上で有望な結果を示すが、スローでシーンごとの最適化が必要である。
本稿では,都市景観を対象とした効率的な3次元ガウススプレイティングモデルEVolSplatを紹介する。
論文 参考訳（メタデータ） (2025-03-26T02:47:27Z) - Feature-EndoGaussian: Feature Distilled Gaussian Splatting in Surgical Deformable Scene Reconstruction [26.358467072736524]
3DGSの拡張であるFeature-EndoGaussian (FEG)を導入し、2Dセグメンテーションキューを3Dレンダリングに統合し、リアルタイムなセマンティックとシーン再構築を実現する。
FEGは先行法に比べて優れた性能(SSIMは0.97、PSNRは39.08、LPIPSは0.03)を達成している。
論文 参考訳（メタデータ） (2025-03-08T10:50:19Z) - Instrument-Splatting: Controllable Photorealistic Reconstruction of Surgical Instruments Using Gaussian Splatting [15.51259636712844]
Real2Simは、外科的人工知能(AI)と自律性の急速な発展により、ますます重要になりつつある。
本稿では3次元ガウススプラッティングを応用した新しいReal2Sim法であるInstrument-Splattingを提案する。
論文 参考訳（メタデータ） (2025-03-06T04:37:09Z) - PF3plat: Pose-Free Feed-Forward 3D Gaussian Splatting [54.7468067660037]
PF3platは、設計選択を検証した包括的なアブレーション研究によってサポートされた、すべてのベンチマークに新しい最先端を設定します。
本フレームワークは,3DGSの高速,スケーラビリティ,高品質な3D再構成とビュー合成機能を活用している。
論文 参考訳（メタデータ） (2024-10-29T15:28:15Z) - Realistic Surgical Image Dataset Generation Based On 3D Gaussian Splatting [3.5351922399745166]
本研究は, 合成外科用データセットを生成するために3次元ガウススプラッティングを用いた新しい手法を提案する。
手術現場でツールやカメラのポーズとともに画像を取得することのできるデータ記録システムを開発した。
このポーズデータを用いて、シーンを合成的に再現し、合成画像の品質を直接比較できるようにする。
論文 参考訳（メタデータ） (2024-07-20T11:20:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。