論文の概要: Realistic Surgical Simulation from Monocular Videos
- arxiv url: http://arxiv.org/abs/2412.02359v1
- Date: Tue, 03 Dec 2024 10:32:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-04 15:44:25.238466
- Title: Realistic Surgical Simulation from Monocular Videos
- Title（参考訳）: 単眼映像からのリアルな手術シミュレーション
- Authors: Kailing Wang, Chen Yang, Keyang Zhao, Xiaokang Yang, Wei Shen,
- Abstract要約: 本稿では,手軽な手術映像からリアルな手術シミュレーションを自動実行することの課題に対処する。
本稿では,これらの制約を克服する新しい自動シミュレーションシステムであるSurgiSimを提案する。
様々な手術シナリオと相互作用の実験は、SurgiSimが軟組織の現実的なシミュレーションを行う能力を示している。
- 参考スコア（独自算出の注目度）: 49.114370617718244
- License:
- Abstract: This paper tackles the challenge of automatically performing realistic surgical simulations from readily available surgical videos. Recent efforts have successfully integrated physically grounded dynamics within 3D Gaussians to perform high-fidelity simulations in well-reconstructed simulation environments from static scenes. However, they struggle with the geometric inconsistency in reconstructing simulation environments and unrealistic physical deformations in simulations of soft tissues when it comes to dynamic and complex surgical processes. In this paper, we propose SurgiSim, a novel automatic simulation system to overcome these limitations. To build a surgical simulation environment, we maintain a canonical 3D scene composed of 3D Gaussians coupled with a deformation field to represent a dynamic surgical scene. This process involves a multi-stage optimization with trajectory and anisotropic regularization, enhancing the geometry consistency of the canonical scene, which serves as the simulation environment. To achieve realistic physical simulations in this environment, we implement a Visco-Elastic deformation model based on the Maxwell model, effectively restoring the complex deformations of tissues. Additionally, we infer the physical parameters of tissues by minimizing the discrepancies between the input video and simulation results guided by estimated tissue motion, ensuring realistic simulation outcomes. Experiments on various surgical scenarios and interactions demonstrate SurgiSim's ability to perform realistic simulation of soft tissues among surgical procedures, showing its enormous potential for enhancing surgical training, planning, and robotic surgery systems. The project page is at https://namaenashibot.github.io/SurgiSim/.
- Abstract（参考訳）: 本稿では,手軽な手術映像からリアルな手術シミュレーションを自動実行することの課題に対処する。
近年,3次元ガウシアンに物理基底力学を組み込むことで,静的なシーンから再構成されたシミュレーション環境において高忠実度シミュレーションを行うことに成功した。
しかし、彼らはシミュレーション環境の再構築における幾何学的不整合とソフト組織のシミュレーションにおける非現実的な物理的変形に、ダイナミックで複雑な外科的プロセスに関して苦労している。
本稿では,これらの制約を克服する新しい自動シミュレーションシステムであるSurgiSimを提案する。
手術シミュレーション環境を構築するため,動的手術シーンを表現するために3次元ガウシアンと変形場を結合した標準的な3Dシーンを整備する。
このプロセスは、軌道および異方正則化を伴う多段階最適化を伴い、シミュレーション環境として機能する標準シーンの幾何整合性を高める。
この環境で現実的な物理シミュレーションを実現するために,マクスウェルモデルに基づく粘弾性変形モデルを実装し,複雑な組織の変形を効果的に復元する。
さらに,入力ビデオと推定組織の動きによって導かれるシミュレーション結果との相違を最小化し,現実的なシミュレーション結果を確保することで,組織の物理的パラメータを推定する。
様々な手術シナリオと相互作用の実験は、外科手術における軟部組織の現実的なシミュレーションを行うSurgiSimの能力を示し、手術訓練、計画、ロボット手術システムの強化の可能性を示している。
プロジェクトページはhttps://namaenashibot.github.io/SurgiSim/にある。
関連論文リスト
- Automated 3D Physical Simulation of Open-world Scene with Gaussian Splatting [22.40115216094332]
Sim Anythingは、静的な3Dオブジェクトにインタラクティブなダイナミクスを与える物理ベースのアプローチである。
人間の視覚的推論に触発されて,MLLMに基づく物理特性知覚を提案する。
また、物理幾何学的適応サンプリングを用いて粒子をサンプリングして、オープンワールドシーンでオブジェクトをシミュレートする。
論文 参考訳（メタデータ） (2024-11-19T12:52:21Z) - Neural Material Adaptor for Visual Grounding of Intrinsic Dynamics [48.99021224773799]
本稿では,既存の物理法則を学習的補正と統合するニューラルネットワーク (NeuMA) を提案する。
また,粒子駆動型3次元ガウス平滑化モデルであるParticle-GSを提案する。
論文 参考訳（メタデータ） (2024-10-10T17:43:36Z) - SimEndoGS: Efficient Data-driven Scene Simulation using Robotic Surgery Videos via Physics-embedded 3D Gaussians [19.590481146949685]
立体内視鏡画像から3D Gaussianを学習可能な手術シーンの表現として紹介する。
本研究では3次元ガウスに物理特性を統合したマテリアルポイント法を適用し,現実的なシーン変形を実現する。
以上の結果から,内視鏡的画像から外科的シーンを効率的に再構成し,シミュレートし,外科的シーンを再構築するのにほんの数分しか要しないことが明らかとなった。
論文 参考訳（メタデータ） (2024-05-02T02:34:19Z) - DiffuseBot: Breeding Soft Robots With Physics-Augmented Generative
Diffusion Models [102.13968267347553]
本稿では,様々なタスクにおいて優れたソフトロボット形態を生成する物理拡張拡散モデルであるDiffuseBotを提案する。
我々は、その能力とともに、シミュレーションされた、そして製造された様々なロボットを紹介します。
論文 参考訳（メタデータ） (2023-11-28T18:58:48Z) - NeuralClothSim: Neural Deformation Fields Meet the Thin Shell Theory [70.10550467873499]
薄型シェルを用いた新しい擬似布シミュレータであるNeuralClothSimを提案する。
メモリ効率の高い解法はニューラル変形場と呼ばれる新しい連続座標に基づく表面表現を演算する。
論文 参考訳（メタデータ） (2023-08-24T17:59:54Z) - Near-realtime Facial Animation by Deep 3D Simulation Super-Resolution [7.14576106770047]
本稿では,低コストでリアルタイムな物理シミュレーションによって生み出す顔のパフォーマンスを効率よく,現実的に向上させるニューラルネットワークに基づくシミュレーションフレームワークを提案する。
顔のアニメーションをこのようなシミュレーション領域の例に用いて,2つのシミュレータで同じ筋の運動制御と骨格のポーズを単純にダイヤルすることで,この意味の一致を創り出すことができる。
提案するニューラルネットワーク超解像フレームワークは,このトレーニングセットから未確認表現を一般化し,リアルタイム変種における解像度の制限やコスト削減近似による2つのシミュレーション間の不一致をモデル化するための補償を行うとともに,意味記述子やパラメータを必要としない。
論文 参考訳（メタデータ） (2023-05-05T00:09:24Z) - Inferring Articulated Rigid Body Dynamics from RGBD Video [18.154013621342266]
我々は,逆レンダリングと微分可能なシミュレーションを組み合わせるパイプラインを導入し,実世界の調音機構のディジタルツインを作成する。
本手法はロボットが操作する関節機構のキネマティックツリーを正確に再構築する。
論文 参考訳（メタデータ） (2022-03-20T08:19:02Z) - GeoSim: Photorealistic Image Simulation with Geometry-Aware Composition [81.24107630746508]
GeoSimは、新しい都市の運転シーンを合成するジオメトリ認識の画像合成プロセスです。
まず、センサーデータからリアルな形状と外観の両方を備えた多様な3Dオブジェクトのバンクを構築します。
得られた合成画像は、フォトリアリズム、トラフィック認識、幾何学的一貫性があり、画像シミュレーションが複雑なユースケースにスケールできる。
論文 参考訳（メタデータ） (2021-01-16T23:00:33Z) - RoboTHOR: An Open Simulation-to-Real Embodied AI Platform [56.50243383294621]
インタラクティブで具体化された視覚AIの研究を民主化するためにRoboTHORを導入する。
シミュレーションで訓練されたモデルの性能は,シミュレーションと慎重に構築された物理アナログの両方で試験される場合,大きな差があることが示される。
論文 参考訳（メタデータ） (2020-04-14T20:52:49Z) - Leveraging Vision and Kinematics Data to Improve Realism of Biomechanic
Soft-tissue Simulation for Robotic Surgery [13.657060682152409]
ロボット内視鏡手術で得られたライブデータは,不正確なFEMシミュレーション結果の修正にどのように用いられるかを検討する。
我々はオープンソースのda Vinciオペレーショナルシステムを用いて,ソフトチップのファントムを探索し,シミュレーションでインタラクションを再現する。
予測メッシュ位置と測定点雲との差を補正するために,ネットワークをトレーニングする。
論文 参考訳（メタデータ） (2020-03-14T00:16:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。