論文の概要: EndoGSim: Physics-Aware 4D Dynamic Endoscopic Scene Simulations via MLLM-Guided Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2605.16022v1
• Date: Fri, 15 May 2026 14:56:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.326197
• Title: EndoGSim: Physics-Aware 4D Dynamic Endoscopic Scene Simulations via MLLM-Guided Gaussian Splatting
• Title（参考訳）: EndoGSim: MLLM誘導ガウススプレイティングによる物理対応4次元動的内視鏡的シーンシミュレーション
• Authors: Changjing Liu, Yiming Huang, Long Bai, Beilei Cui, Hongliang Ren,
• Abstract要約: ロボットによる最小侵襲手術では, 動的内視鏡的シーン再構築とシミュレーションが下流作業の強化と手術成績の進展に不可欠である。 マルチモーダル大言語モデル(MLLM)誘導ガウススプラッティングによる物理認識の再構築と内視鏡シーンの物理シミュレーションを実現する統合フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 14.379676968984013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In robot-assisted minimally invasive surgery, high-fidelity dynamic endoscopic scene reconstruction and simulation are crucial to enhancing downstream tasks and advancing surgical outcomes. However, existing methods primarily focus on visual reconstruction, lacking physics-based descriptions of the scene required for realistic simulation. We propose a unified framework that achieves physics-aware reconstruction and physical simulation of endoscopic scenes through Multi-modal Large Language Models (MLLMs)-guided Gaussian Splatting. Our approach utilizes 4D Gaussian Splatting (4DGS) integrated with pre-trained segmentation and depth estimation to represent deformable tissues and tools. To achieve automatic inference of physical properties, we introduce an object-wise material field that initializes material parameters via MLLM and refines them through a differentiable Material Point Method (MPM) under joint supervision from rendered images and optical flow. Validated on both open-source and in-house datasets, our framework achieves superior simulation fidelity and physical accuracy compared to state-of-the-art methods, underscoring its potential to advance robot-assisted surgical applications.
• Abstract（参考訳）: ロボットによる最小侵襲手術では、下流作業の強化と手術成績の進展に、高忠実度動的内視鏡的シーン再構成とシミュレーションが不可欠である。 しかし、既存の手法は主に視覚的再構成に焦点を当てており、現実的なシミュレーションに必要な場面の物理に基づく記述が欠如している。 マルチモーダル大言語モデル(MLLM)誘導ガウススプラッティングによる物理認識の再構築と内視鏡シーンの物理シミュレーションを実現する統合フレームワークを提案する。 提案手法は, 変形可能な組織やツールを表現するために, 4DGSと事前訓練したセグメンテーションと深さ推定を統合した4D Gaussian Splatting (4DGS) を用いている。 物理特性の自動推論を実現するために,MLLMを用いて材料パラメータを初期化し,レンダリング画像や光フローからの共同管理の下で,識別可能な材料ポイント法 (MPM) によりそれらを洗練するオブジェクト・ワイズ・マテリアル・フィールドを導入する。 我々のフレームワークは,オープンソースと社内両方のデータセットで検証され,最先端の手法と比較してシミュレーション精度と物理的精度が優れており,ロボットによる外科的応用を推し進める可能性を秘めている。

関連論文リスト

• Mirage2Matter: A Physically Grounded Gaussian World Model from Video [87.9732484393686]
  我々は、グラフィック駆動の世界モデリングおよびシミュレーションフレームワークであるSimulate Anythingを紹介する。 実世界の環境を3次元ガウススプレイティング(3DGS)による写実的シーン表現に再構築する。 次に、生成モデルを利用して、物理的に現実的な表現を復元し、精度校正ターゲットを介してシミュレーション環境に統合する。
  論文  参考訳（メタデータ） (2026-01-24T07:43:57Z)
• Efficient 3D Scene Reconstruction and Simulation from Sparse Endoscopic Views [0.7614628596146601]
  内視鏡的画像からインタラクティブな手術シーンを再構築するためのガウススプラッティングに基づくフレームワークを提案する。 データ駆動型シミュレーションのパラダイムにおける重要な課題は、内視鏡カメラの制限された動きである。 本手法は,スパース内視鏡による手術シーンの再現とシミュレートを効果的に行うことができることを示す。
  論文  参考訳（メタデータ） (2025-09-21T10:40:36Z)
• GausSim: Foreseeing Reality by Gaussian Simulator for Elastic Objects [55.02281855589641]
  GausSimは、ガウスカーネルを通して表現される現実の弾性物体の動的挙動をキャプチャするために設計された、ニューラルネットワークベースの新しいシミュレータである。 我々は連続体力学を活用し、各カーネルを連続体を表すCenter of Mass System (CMS)として扱う。 さらに、ガウスシムは質量や運動量保存のような明示的な物理制約を取り入れ、解釈可能な結果と堅牢で物理的に妥当なシミュレーションを確実にする。
  論文  参考訳（メタデータ） (2024-12-23T18:58:17Z)
• Realistic Surgical Simulation from Monocular Videos [49.114370617718244]
  本稿では,手軽な手術映像からリアルな手術シミュレーションを自動実行することの課題に対処する。 本稿では,これらの制約を克服する新しい自動シミュレーションシステムであるSurgiSimを提案する。 様々な手術シナリオと相互作用の実験は、SurgiSimが軟組織の現実的なシミュレーションを行う能力を示している。
  論文  参考訳（メタデータ） (2024-12-03T10:32:41Z)
• PhysFlow: Unleashing the Potential of Multi-modal Foundation Models and Video Diffusion for 4D Dynamic Physical Scene Simulation [9.306758077479472]
  PhysFlowは、マルチモーダル基礎モデルとビデオ拡散を利用して、強化された4次元ダイナミックシーンシミュレーションを実現する新しいアプローチである。 この統合フレームワークは、現実世界のシナリオにおける動的相互作用の正確な予測と現実的なシミュレーションを可能にする。
  論文  参考訳（メタデータ） (2024-11-21T18:55:23Z)
• Neural Material Adaptor for Visual Grounding of Intrinsic Dynamics [48.99021224773799]
  本稿では,既存の物理法則を学習的補正と統合するニューラルネットワーク (NeuMA) を提案する。 また,粒子駆動型3次元ガウス平滑化モデルであるParticle-GSを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:43:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。