論文の概要: Efficient Deformable Tissue Reconstruction via Orthogonal Neural Plane
- arxiv url: http://arxiv.org/abs/2312.15253v1
- Date: Sat, 23 Dec 2023 13:27:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 19:03:00.444140
- Title: Efficient Deformable Tissue Reconstruction via Orthogonal Neural Plane
- Title（参考訳）: 直交神経平面による効率的な変形性組織再建
- Authors: Chen Yang, Kailing Wang, Yuehao Wang, Qi Dou, Xiaokang Yang, Wei Shen
- Abstract要約: 変形性組織を再建するための高速直交平面(Fast Orthogonal Plane)を導入する。
我々は外科手術を4Dボリュームとして概念化し、それらをニューラルネットワークからなる静的および動的フィールドに分解する。
この分解により4次元空間が増加し、メモリ使用量が減少し、最適化が高速化される。
- 参考スコア（独自算出の注目度）: 58.871015937204255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Intraoperative imaging techniques for reconstructing deformable tissues in
vivo are pivotal for advanced surgical systems. Existing methods either
compromise on rendering quality or are excessively computationally intensive,
often demanding dozens of hours to perform, which significantly hinders their
practical application. In this paper, we introduce Fast Orthogonal Plane
(Forplane), a novel, efficient framework based on neural radiance fields (NeRF)
for the reconstruction of deformable tissues. We conceptualize surgical
procedures as 4D volumes, and break them down into static and dynamic fields
comprised of orthogonal neural planes. This factorization iscretizes the
four-dimensional space, leading to a decreased memory usage and faster
optimization. A spatiotemporal importance sampling scheme is introduced to
improve performance in regions with tool occlusion as well as large motions and
accelerate training. An efficient ray marching method is applied to skip
sampling among empty regions, significantly improving inference speed. Forplane
accommodates both binocular and monocular endoscopy videos, demonstrating its
extensive applicability and flexibility. Our experiments, carried out on two in
vivo datasets, the EndoNeRF and Hamlyn datasets, demonstrate the effectiveness
of our framework. In all cases, Forplane substantially accelerates both the
optimization process (by over 100 times) and the inference process (by over 15
times) while maintaining or even improving the quality across a variety of
non-rigid deformations. This significant performance improvement promises to be
a valuable asset for future intraoperative surgical applications. The code of
our project is now available at https://github.com/Loping151/ForPlane.
- Abstract（参考訳）: 生体内で変形性組織を再構築するための術中イメージング技術は,高度な手術システムにとって重要である。
既存のメソッドは、レンダリング品質に妥協するか、計算集約的に過剰であり、しばしば実行に数十時間を要する。
本稿では, 変形可能な組織を再構築するための神経放射場(NeRF)に基づく, 新規で効率的なフレームワークであるFast Orthogonal Plane(Forplane)を紹介する。
外科手術を4Dボリュームとして概念化し, 直交神経平面からなる静的場と動的場に分解する。
この因子化は4次元空間を複雑化し、メモリ使用量の減少と最適化の高速化に繋がる。
ツールを介在する領域の性能向上と大きな動きの促進と訓練の促進を目的として,時空間重大サンプリング方式を導入した。
空領域間のサンプリングをスキップするために効率的なレイマーチング法を適用し,推定速度を大幅に改善した。
forplaneは両眼および単眼の内視鏡ビデオに対応しており、その広範な適用性と柔軟性を示している。
エンドナーフデータセットとハムリンデータセットの2つのin vivoデータセットを用いて実験を行い,このフレームワークの有効性を実証した。
いずれの場合も、Forplaneは最適化プロセス(100回以上)と推論プロセス(15回以上)の両方を大幅に加速し、様々な非剛性変形の質を維持したり改善したりする。
この顕著なパフォーマンス改善は、将来の術中手術応用に有用な資産となることを約束する。
プロジェクトのコードはhttps://github.com/loping151/forplaneで利用可能です。
関連論文リスト
- Deform3DGS: Flexible Deformation for Fast Surgical Scene Reconstruction with Gaussian Splatting [20.147880388740287]
この研究は、内視鏡手術中に変形可能な組織に対して、Deform3DGSと呼ばれる新しい高速再構築フレームワークを提示する。
リアルタイム3Dレンダリングの新技術である3D Gaussian Splattingを,ポイントクラウドを統合して手術シーンに導入する。
また,個々のガウスレベルにおける組織変形動態を学習するためのフレキシブルな変形モデリング手法 (FDM) を提案する。
論文 参考訳（メタデータ） (2024-05-28T05:14:57Z) - FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos [79.50191812646125]
内視鏡的シーンの再構築は、外科手術後の分析から教育訓練まで、様々な医療応用にとって重要な要素である。
変形組織の非常にダイナミックな環境下での移動内視鏡の挑戦的なセットアップに着目する。
複数重重なり合う4次元ニューラルラジアンスフィールド(NeRF)への暗黙的なシーン分離と、再構成とカメラのスクラッチからのポーズを協調的に最適化するプログレッシブ最適化手法を提案する。
これにより、使いやすさが向上し、5000フレーム以上の手術ビデオの処理に間に合うように復元能力を拡張できる。
論文 参考訳（メタデータ） (2024-03-18T19:13:02Z) - VoxNeRF: Bridging Voxel Representation and Neural Radiance Fields for
Enhanced Indoor View Synthesis [51.49008959209671]
本稿では,室内ビュー合成の品質と効率を高めるために,ボリューム表現を活用する新しいアプローチであるVoxNeRFを紹介する。
我々は,空間的特徴を適応的に捉えるためにマルチレゾリューション・ハッシュ・グリッドを使用し,室内シーンの閉塞や複雑な形状を効果的に管理する。
我々は,3つの屋内データセットに対するアプローチを検証するとともに,VoxNeRFが最先端の手法より優れていることを示す。
論文 参考訳（メタデータ） (2023-11-09T11:32:49Z) - Accelerating Multiframe Blind Deconvolution via Deep Learning [0.0]
地上からの太陽画像の復元は計算に費用がかかる手続きである。
本稿では,アルゴリズムのアンロールに基づく復元を高速化する手法を提案する。
両手法が標準最適化法と比較して復元時間を大幅に短縮することを示した。
論文 参考訳（メタデータ） (2023-06-21T07:53:00Z) - Neural LerPlane Representations for Fast 4D Reconstruction of Deformable
Tissues [52.886545681833596]
LerPlaneは単一視点環境下での手術シーンの高速かつ正確な再構築手法である。
LerPlaneは外科手術を4Dボリュームとして扱い、静的および動的フィールドの明示的な2D平面に分解する。
LerPlaneは静的フィールドを共有し、動的組織モデリングのワークロードを大幅に削減する。
論文 参考訳（メタデータ） (2023-05-31T14:38:35Z) - Distributed Neural Representation for Reactive in situ Visualization [23.80657290203846]
Inlicit Neural representations (INR) は、大規模ボリュームデータを圧縮するための強力なツールとして登場した。
分散ニューラル表現を開発し,それをその場での可視化に最適化する。
我々の技術はプロセス間のデータ交換を排除し、最先端の圧縮速度、品質、比率を達成する。
論文 参考訳（メタデータ） (2023-03-28T03:55:47Z) - Fast-SNARF: A Fast Deformer for Articulated Neural Fields [92.68788512596254]
本稿では,標準空間とポーズ空間の正確な対応性を求める,ニューラルフィールドのための新しい調音モジュールFast-SNARFを提案する。
Fast-SNARFはこれまでの研究であるSNARFの代替であり、計算効率は大幅に向上した。
変形マップの学習は多くの3次元人間のアバター法において重要な要素であるため、この研究は3次元仮想人間の実現に向けた重要なステップであると考えている。
論文 参考訳（メタデータ） (2022-11-28T17:55:34Z) - E-DSSR: Efficient Dynamic Surgical Scene Reconstruction with
Transformer-based Stereoscopic Depth Perception [15.927060244702686]
28 fpsの高ダイナミックな手術シーンに対して,効率的な再建パイプラインを提案する。
具体的には,効率的な深度推定のための変圧器を用いた立体視深度知覚を設計する。
提案したパイプラインを,公開Hamlyn Centre内視鏡ビデオデータセットと社内のDaVinciロボット手術データセットの2つのデータセットで評価した。
論文 参考訳（メタデータ） (2021-07-01T05:57:41Z) - Trans-SVNet: Accurate Phase Recognition from Surgical Videos via Hybrid
Embedding Aggregation Transformer [57.18185972461453]
本稿では,手術ワークフロー解析トランスフォーマーを初めて導入し,正確な位相認識のための時間的特徴と時間的特徴の無視された補完効果を再考する。
我々のフレームワークは軽量であり、高い推論速度を達成するためにハイブリッド埋め込みを並列に処理します。
論文 参考訳（メタデータ） (2021-03-17T15:12:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。