論文の概要: Registering Neural 4D Gaussians for Endoscopic Surgery
- arxiv url: http://arxiv.org/abs/2407.20213v1
- Date: Mon, 29 Jul 2024 17:42:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-30 12:45:22.724872
- Title: Registering Neural 4D Gaussians for Endoscopic Surgery
- Title(参考訳): 内視鏡下手術におけるニューラル4Dガウスの登録
- Authors: Yiming Huang, Beilei Cui, Ikemura Kei, Jiekai Zhang, Long Bai, Hongliang Ren,
- Abstract要約: 本稿では,外科的手術シーンを動的に登録するための新しい戦略を提案する。
本手法は,空間情報と時間情報の両方を対応マッチングに組み込むことで,優れた性能を実現する。
提案手法は外科的計画と訓練を改善する可能性を秘めており、最終的には患者により良い結果をもたらす。
- 参考スコア(独自算出の注目度): 6.270137275503944
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The recent advance in neural rendering has enabled the ability to reconstruct high-quality 4D scenes using neural networks. Although 4D neural reconstruction is popular, registration for such representations remains a challenging task, especially for dynamic scene registration in surgical planning and simulation. In this paper, we propose a novel strategy for dynamic surgical neural scene registration. We first utilize 4D Gaussian Splatting to represent the surgical scene and capture both static and dynamic scenes effectively. Then, a spatial aware feature aggregation method, Spatially Weight Cluttering (SWC) is proposed to accurately align the feature between surgical scenes, enabling precise and realistic surgical simulations. Lastly, we present a novel strategy of deformable scene registration to register two dynamic scenes. By incorporating both spatial and temporal information for correspondence matching, our approach achieves superior performance compared to existing registration methods for implicit neural representation. The proposed method has the potential to improve surgical planning and training, ultimately leading to better patient outcomes.
- Abstract(参考訳): ニューラルレンダリングの最近の進歩により、ニューラルネットワークを使用して高品質な4Dシーンを再構築することが可能になった。
4Dニューラルリコンストラクションが普及しているが,手術計画やシミュレーションにおける動的なシーン登録は,このような表現の登録が困難な課題である。
本稿では,外科的手術シーンを動的に登録するための新しい戦略を提案する。
まず, 4D Gaussian Splatting を用いて手術シーンを表現し, 静的シーンと動的シーンの両方を効果的に捉えた。
そこで,空間認識型特徴集合法であるSWC(Spatially Weight Cluttering)を提案し,手術シーン間の特徴を正確に整合させ,精密かつ現実的な手術シミュレーションを可能にする。
最後に,2つの動的シーンを登録するための変形可能なシーン登録方式を提案する。
本手法は,空間情報と時間情報の両方を対応マッチングに組み込むことで,既存の暗黙的ニューラル表現の登録方法よりも優れた性能を実現する。
提案手法は外科的計画と訓練を改善する可能性を秘めており、最終的には患者により良い結果をもたらす。
関連論文リスト
- SurgicalGaussian: Deformable 3D Gaussians for High-Fidelity Surgical Scene Reconstruction [17.126895638077574]
内視鏡的ビデオにおける変形性組織の動的再構成は、ロボット支援手術の鍵となる技術である。
NeRFは、シーン内のオブジェクトの複雑な詳細をキャプチャするのに苦労します。
我々のネットワークは、レンダリング品質、レンダリング速度、GPU使用率など、多くの面で既存の手法よりも優れています。
論文 参考訳(メタデータ) (2024-07-06T09:31:30Z) - Efficient Data-driven Scene Simulation using Robotic Surgery Videos via Physics-embedded 3D Gaussians [19.590481146949685]
立体内視鏡画像から3D Gaussianを学習可能な手術シーンの表現として紹介する。
本研究では3次元ガウスに物理特性を統合したマテリアルポイント法を適用し,現実的なシーン変形を実現する。
以上の結果から,内視鏡的画像から外科的シーンを効率的に再構成し,シミュレートし,外科的シーンを再構築するのにほんの数分しか要しないことが明らかとなった。
論文 参考訳(メタデータ) (2024-05-02T02:34:19Z) - Efficient Deformable Tissue Reconstruction via Orthogonal Neural Plane [58.871015937204255]
変形性組織を再建するための高速直交平面(Fast Orthogonal Plane)を導入する。
我々は外科手術を4Dボリュームとして概念化し、それらをニューラルネットワークからなる静的および動的フィールドに分解する。
この分解により4次元空間が増加し、メモリ使用量が減少し、最適化が高速化される。
論文 参考訳(メタデータ) (2023-12-23T13:27:50Z) - DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。
本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。
実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文 参考訳(メタデータ) (2023-11-30T21:34:44Z) - Neural LerPlane Representations for Fast 4D Reconstruction of Deformable
Tissues [52.886545681833596]
LerPlaneは単一視点環境下での手術シーンの高速かつ正確な再構築手法である。
LerPlaneは外科手術を4Dボリュームとして扱い、静的および動的フィールドの明示的な2D平面に分解する。
LerPlaneは静的フィールドを共有し、動的組織モデリングのワークロードを大幅に削減する。
論文 参考訳(メタデータ) (2023-05-31T14:38:35Z) - NeRFPlayer: A Streamable Dynamic Scene Representation with Decomposed
Neural Radiance Fields [99.57774680640581]
本稿では、高速な再構成、コンパクトなモデリング、およびストリーム可能なレンダリングが可能な効率的なフレームワークを提案する。
本稿では, 時間特性に応じて4次元空間を分解することを提案する。4次元空間の点は, 静的, 変形, および新しい領域の3つのカテゴリに属する確率に関連付けられている。
論文 参考訳(メタデータ) (2022-10-28T07:11:05Z) - Neural Adaptive SCEne Tracing [24.781844909539686]
NAScenTは,ハイブリッド・明示的ニューラル表現を直接訓練した最初のニューラルレンダリング手法である。
NAScenTは、UAVが捕獲した屋外環境のような、大きくて人口の少ないボリュームを含む、困難なシーンを再構築することができる。
論文 参考訳(メタデータ) (2022-02-28T10:27:23Z) - E-DSSR: Efficient Dynamic Surgical Scene Reconstruction with
Transformer-based Stereoscopic Depth Perception [15.927060244702686]
28 fpsの高ダイナミックな手術シーンに対して,効率的な再建パイプラインを提案する。
具体的には,効率的な深度推定のための変圧器を用いた立体視深度知覚を設計する。
提案したパイプラインを,公開Hamlyn Centre内視鏡ビデオデータセットと社内のDaVinciロボット手術データセットの2つのデータセットで評価した。
論文 参考訳(メタデータ) (2021-07-01T05:57:41Z) - Fast Training of Neural Lumigraph Representations using Meta Learning [109.92233234681319]
我々は、リアルタイムにレンダリングできる高品質な表現を素早く学習することを目的として、新しいニューラルレンダリングアプローチを開発した。
われわれのアプローチであるMetaNLR++は、ニューラル形状表現と2次元CNNに基づく画像特徴抽出、集約、再投影のユニークな組み合わせを用いてこれを実現する。
そこで本研究では,MetaNLR++が類似あるいはより優れたフォトリアリスティックなノベルビュー合成を実現し,競合する手法が要求される時間のほんの少しの時間で実現可能であることを示す。
論文 参考訳(メタデータ) (2021-06-28T18:55:50Z) - Neural Radiance Flow for 4D View Synthesis and Video Processing [59.9116932930108]
本稿では,RGB画像から動的シーンの4次元空間時空間表現を学習する手法を提案する。
私たちのアプローチの鍵は、シーンの3D占有率、輝度、およびダイナミクスをキャプチャすることを学ぶ神経暗黙表現を使用することです。
論文 参考訳(メタデータ) (2020-12-17T17:54:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。