論文の概要: Instrument-Splatting: Controllable Photorealistic Reconstruction of Surgical Instruments Using Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2503.04082v1
• Date: Thu, 06 Mar 2025 04:37:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 15:58:35.928046
• Title: Instrument-Splatting: Controllable Photorealistic Reconstruction of Surgical Instruments Using Gaussian Splatting
• Title（参考訳）: 楽器投射:ガウス投射による手術器具の可制御光写実的再構成
• Authors: Shuojue Yang, Zijian Wu, Mingxuan Hong, Qian Li, Daiyun Shen, Septimiu E. Salcudean, Yueming Jin,
• Abstract要約: Real2Simは、外科的人工知能(AI)と自律性の急速な発展により、ますます重要になりつつある。 本稿では3次元ガウススプラッティングを応用した新しいReal2Sim法であるtextitInstrument-Splattingを提案する。
• 参考スコア（独自算出の注目度）: 15.51259636712844
• License:
• Abstract: Real2Sim is becoming increasingly important with the rapid development of surgical artificial intelligence (AI) and autonomy. In this work, we propose a novel Real2Sim methodology, \textit{Instrument-Splatting}, that leverages 3D Gaussian Splatting to provide fully controllable 3D reconstruction of surgical instruments from monocular surgical videos. To maintain both high visual fidelity and manipulability, we introduce a geometry pre-training to bind Gaussian point clouds on part mesh with accurate geometric priors and define a forward kinematics to control the Gaussians as flexible as real instruments. Afterward, to handle unposed videos, we design a novel instrument pose tracking method leveraging semantics-embedded Gaussians to robustly refine per-frame instrument poses and joint states in a render-and-compare manner, which allows our instrument Gaussian to accurately learn textures and reach photorealistic rendering. We validated our method on 2 publicly released surgical videos and 4 videos collected on ex vivo tissues and green screens. Quantitative and qualitative evaluations demonstrate the effectiveness and superiority of the proposed method.
• Abstract（参考訳）: Real2Simは、外科的人工知能(AI)と自律性の急速な発展により、ますます重要になりつつある。 本研究では,3次元ガウススプラッティングを応用し,単眼手術映像からの手術器具の完全な3次元再構築を可能にする,新しいReal2Sim法である「textit{Instrument-Splatting」を提案する。 高視力性とマニピュラビリティの両面を維持するため,パートメッシュ上にガウス点雲を正確な幾何学的先行値で結合する幾何学的事前学習を導入し,ガウス点雲を実際の楽器のように柔軟に制御するための前方運動学を定義する。 その後,無作為な映像を扱うために,セマンティクスを組み込んだガウスアンを用いた新しい楽器ポーズトラッキング手法を設計し,フレームごとのポーズや関節状態をレンダリング・アンド・コンプレックスで堅牢に洗練し,ガウスアンがテクスチャを正確に学習し,フォトリアリスティックなレンダリングに到達できるようにする。 術式を公表した2本の手術用ビデオと,生体外組織とグリーンスクリーンで収集した4本のビデオで検証した。 定量的および定性的な評価は,提案手法の有効性と優位性を示す。

関連論文リスト

• GausSurf: Geometry-Guided 3D Gaussian Splatting for Surface Reconstruction [79.42244344704154]
  GausSurfは、テクスチャリッチな領域におけるマルチビュー一貫性と、シーンのテクスチャレスな領域における通常の事前の幾何学的ガイダンスを採用している。 本手法は,再現性や計算時間の観点から,最先端の手法を超越した手法である。
  論文  参考訳（メタデータ） (2024-11-29T03:54:54Z)
• SurgicalGS: Dynamic 3D Gaussian Splatting for Accurate Robotic-Assisted Surgical Scene Reconstruction [18.074890506856114]
  幾何学的精度を向上した手術シーン再構築のための動的3次元ガウススプレイティングフレームワークであるStagementGSを提案する。 提案手法は,まず奥行き先を用いてガウス点雲を初期化し,深度変化の大きい画素を識別するために二元運動マスクを用い,フレーム間の深度マップから点雲を融合して初期化する。 フレキシブル変形モデルを用いて動的シーンを表現し、教師なし深度スムースネス制約とともに正規化深度正規化損失を導入し、より正確な幾何再構成を実現する。
  論文  参考訳（メタデータ） (2024-10-11T22:46:46Z)
• A Review of 3D Reconstruction Techniques for Deformable Tissues in Robotic Surgery [8.909938295090827]
  NeRFベースの技術は、暗黙的にシーンを再構築する能力に注目が集まっている。 一方、3D-GSは3Dガウシアンを明示的に使用し、NeRFの複雑なボリュームレンダリングの代替として2D平面に投影するシーンを表現している。 この研究は、最先端のSOTA(State-of-the-art)アプローチを探求し、レビューし、彼らのイノベーションと実装原則について議論する。
  論文  参考訳（メタデータ） (2024-08-08T12:51:23Z)
• Realistic Surgical Image Dataset Generation Based On 3D Gaussian Splatting [3.5351922399745166]
  本研究は, 合成外科用データセットを生成するために3次元ガウススプラッティングを用いた新しい手法を提案する。 手術現場でツールやカメラのポーズとともに画像を取得することのできるデータ記録システムを開発した。 このポーズデータを用いて、シーンを合成的に再現し、合成画像の品質を直接比較できるようにする。
  論文  参考訳（メタデータ） (2024-07-20T11:20:07Z)
• SurgicalGaussian: Deformable 3D Gaussians for High-Fidelity Surgical Scene Reconstruction [17.126895638077574]
  内視鏡的ビデオにおける変形性組織の動的再構成は、ロボット支援手術の鍵となる技術である。 NeRFは、シーン内のオブジェクトの複雑な詳細をキャプチャするのに苦労します。 我々のネットワークは、レンダリング品質、レンダリング速度、GPU使用率など、多くの面で既存の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-07-06T09:31:30Z)
• R$^2$-Gaussian: Rectifying Radiative Gaussian Splatting for Tomographic Reconstruction [53.19869886963333]
  3次元ガウススプラッティング(3DGS)は画像のレンダリングと表面再構成において有望な結果を示した。 本稿では,Sparse-viewトモグラフィ再構成のための3DGSベースのフレームワークであるR2$-Gaussianを紹介する。
  論文  参考訳（メタデータ） (2024-05-31T08:39:02Z)
• SimEndoGS: Efficient Data-driven Scene Simulation using Robotic Surgery Videos via Physics-embedded 3D Gaussians [19.590481146949685]
  立体内視鏡画像から3D Gaussianを学習可能な手術シーンの表現として紹介する。 本研究では3次元ガウスに物理特性を統合したマテリアルポイント法を適用し,現実的なシーン変形を実現する。 以上の結果から,内視鏡的画像から外科的シーンを効率的に再構成し,シミュレートし,外科的シーンを再構築するのにほんの数分しか要しないことが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-02T02:34:19Z)
• 2D Gaussian Splatting for Geometrically Accurate Radiance Fields [50.056790168812114]
  3D Gaussian Splatting (3DGS)は近年,高画質の新規ビュー合成と高速レンダリングを実現し,放射界再構成に革命をもたらした。 多視点画像から幾何学的精度の高い放射場をモデル化・再構成するための新しいアプローチである2DGS(2D Gaussian Splatting)を提案する。 競合する外観品質、高速トレーニング速度、リアルタイムレンダリングを維持しつつ、ノイズフリーかつ詳細な幾何学的再構成を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T17:21:24Z)
• UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
  メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。 我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
  論文  参考訳（メタデータ） (2024-03-18T09:03:56Z)
• GVA: Reconstructing Vivid 3D Gaussian Avatars from Monocular Videos [56.40776739573832]
  モノクロビデオ入力(GVA)から鮮明な3Dガウスアバターの作成を容易にする新しい手法を提案する。 私たちのイノベーションは、高忠実な人体再構築を実現するという、複雑な課題に対処することにあります。 通常の地図とシルエットを整列させて手足のポーズ精度を向上させるためにポーズ改善手法を提案する。
  論文  参考訳（メタデータ） (2024-02-26T14:40:15Z)
• Intrinsic Autoencoders for Joint Neural Rendering and Intrinsic Image Decomposition [67.9464567157846]
  合成3Dモデルからリアルな画像を生成するためのオートエンコーダを提案し,同時に実像を本質的な形状と外観特性に分解する。 実験により, レンダリングと分解の併用処理が有益であることが確認され, 画像から画像への翻訳の質的, 定量的なベースラインよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2020-06-29T12:53:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。