論文の概要: CudaSIFT-SLAM: multiple-map visual SLAM for full procedure mapping in real human endoscopy
- arxiv url: http://arxiv.org/abs/2405.16932v1
- Date: Mon, 27 May 2024 08:26:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 16:21:29.790533
- Title: CudaSIFT-SLAM: multiple-map visual SLAM for full procedure mapping in real human endoscopy
- Title（参考訳）: CudaSIFT-SLAM:実人の内視鏡におけるフルプロシージャマッピングのためのマルチマップ視覚SLAM
- Authors: Richard Elvira, Juan D. Tardós, José M. M. Montiel,
- Abstract要約: CudaSIFT-SLAMは人間の大腸全摘をリアルタイムで処理できる最初のV-SLAMシステムである。
我々は,C3VDファントム結腸データセットと,Endomapperデータセットからの完全な実大腸内視鏡で本システムをベンチマークした。
我々のシステムは,C3VDデータセットのフレームの88%をリアルタイムでマッピングすることに成功した。
- 参考スコア（独自算出の注目度）: 4.129225533930965
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Monocular visual simultaneous localization and mapping (V-SLAM) is nowadays an irreplaceable tool in mobile robotics and augmented reality, where it performs robustly. However, human colonoscopies pose formidable challenges like occlusions, blur, light changes, lack of texture, deformation, water jets or tool interaction, which result in very frequent tracking losses. ORB-SLAM3, the top performing multiple-map V-SLAM, is unable to recover from them by merging sub-maps or relocalizing the camera, due to the poor performance of its place recognition algorithm based on ORB features and DBoW2 bag-of-words. We present CudaSIFT-SLAM, the first V-SLAM system able to process complete human colonoscopies in real-time. To overcome the limitations of ORB-SLAM3, we use SIFT instead of ORB features and replace the DBoW2 direct index with the more computationally demanding brute-force matching, being able to successfully match images separated in time for relocation and map merging. Real-time performance is achieved thanks to CudaSIFT, a GPU implementation for SIFT extraction and brute-force matching. We benchmark our system in the C3VD phantom colon dataset, and in a full real colonoscopy from the Endomapper dataset, demonstrating the capabilities to merge sub-maps and relocate in them, obtaining significantly longer sub-maps. Our system successfully maps in real-time 88 % of the frames in the C3VD dataset. In a real screening colonoscopy, despite the much higher prevalence of occluded and blurred frames, the mapping coverage is 53 % in carefully explored areas and 38 % in the full sequence, a 70 % improvement over ORB-SLAM3.
- Abstract（参考訳）: 単一の視覚的同時位置決めとマッピング(V-SLAM)は、現在、モバイルロボティクスや拡張現実では不可能なツールであり、堅牢に機能している。
しかし、人間の大腸内視鏡は、閉塞、ぼかし、光の変化、テクスチャの欠如、変形、水噴流、ツールの相互作用といった深刻な課題を生じさせ、追跡損失が頻繁に発生する。
最上位のマルチマップV-SLAMであるORB-SLAM3は、ORB機能とDBoW2バグ・オブ・ワードに基づく位置認識アルゴリズムの低性能のため、サブマップをマージしたり、カメラを再ローカライズすることで、それらから回復することができない。
CudaSIFT-SLAMは人間の大腸全摘をリアルタイムで処理できる最初のV-SLAMシステムである。
ORB-SLAM3の限界を克服するために、ORB機能の代わりにSIFTを使用し、DBoW2ダイレクトインデックスをより計算的に要求されるブルートフォースマッチングに置き換える。
CudaSIFTは、SIFT抽出とブルートフォースマッチングのためのGPU実装である。
我々は,C3VDファントム結腸データセットとEndomapperデータセットからの完全な実大腸内視鏡を用いて,我々のシステムをベンチマークし,サブマップのマージと再配置の能力を実証し,はるかに長いサブマップを得た。
我々のシステムは,C3VDデータセットのフレームの88%をリアルタイムでマッピングすることに成功した。
実検大腸内視鏡検査では, 閉塞およびぼやけたフレームの出現率が高いにもかかわらず, 慎重に調査した領域では53%, フルシークエンスでは38%, ORB-SLAM3では70%改善した。
関連論文リスト
- Visual Localization in 3D Maps: Comparing Point Cloud, Mesh, and NeRF Representations [8.522160106746478]
様々な3次元地図表現にまたがる単一カメラ画像のローカライズが可能なグローバルな視覚的ローカライゼーションシステムを提案する。
本システムは,シーンの新たなビューを合成し,RGBと深度画像のペアを作成することでデータベースを生成する。
NeRF合成画像は、クエリ画像を平均72%の成功率でローカライズし、優れた性能を示す。
論文 参考訳（メタデータ） (2024-08-21T19:37:17Z) - IG-SLAM: Instant Gaussian SLAM [6.228980850646457]
3D Gaussian SplattingはSLAMシステムにおける代替シーン表現として期待できる結果を示した。
本稿では,RGBのみの高密度SLAMシステムであるIG-SLAMについて述べる。
我々は、最先端のRGBのみのSLAMシステムと競合する性能を示し、高速な動作速度を実現する。
論文 参考訳（メタデータ） (2024-08-02T09:07:31Z) - Splat-SLAM: Globally Optimized RGB-only SLAM with 3D Gaussians [87.48403838439391]
3D Splattingは、RGBのみの高密度SLAMの幾何学と外観の強力な表現として登場した。
本稿では,高密度な3次元ガウス写像表現を持つRGBのみのSLAMシステムを提案する。
Replica、TUM-RGBD、ScanNetのデータセットに対する実験は、グローバルに最適化された3Dガウスの有効性を示している。
論文 参考訳（メタデータ） (2024-05-26T12:26:54Z) - MUTE-SLAM: Real-Time Neural SLAM with Multiple Tri-Plane Hash Representations [6.266208986510979]
MUTE-SLAMは、効率的なシーン表現のために複数の三平面ハッシュエンコーディングを使用するリアルタイムニューラルネットワークRGB-D SLAMシステムである。
MUTE-SLAMは、カメラの位置を効果的に追跡し、小型および大型の屋内環境のためのスケーラブルなマルチマップ表現を漸進的に構築する。
論文 参考訳（メタデータ） (2024-03-26T14:53:24Z) - Loopy-SLAM: Dense Neural SLAM with Loop Closures [53.11936461015725]
ポーズをグローバルに最適化するLoopy-SLAMと高密度3Dモデルを導入する。
我々は,データ駆動のポイントベースサブマップ生成手法を用いてフレーム・ツー・モデル追跡を行い,グローバルな位置認識を行うことで,オンラインのループクロージャをトリガーする。
合成Replicaおよび実世界のTUM-RGBDおよびScanNetデータセットの評価は、既存の高密度ニューラルネットワークRGBD SLAM法と比較して、追跡、マッピング、レンダリングの精度の競争力または優れた性能を示す。
論文 参考訳（メタデータ） (2024-02-14T18:18:32Z) - DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。
本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。
実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文 参考訳（メタデータ） (2023-11-30T21:34:44Z) - GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting [51.96353586773191]
我々は,まず3次元ガウス表現を利用したtextbfGS-SLAM を提案する。
提案手法は,地図の最適化とRGB-Dレンダリングの大幅な高速化を実現するリアルタイム微分可能なスプレイティングレンダリングパイプラインを利用する。
提案手法は,Replica,TUM-RGBDデータセット上の既存の最先端リアルタイム手法と比較して,競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-20T12:08:23Z) - Coordinate Transformer: Achieving Single-stage Multi-person Mesh
Recovery from Videos [91.44553585470688]
ビデオから複数人の3Dメッシュを回収することは、バーチャルリアリティーや理学療法などにおけるグループ行動の自動認識に向けた重要な第一歩である。
本稿では,複数人物の時空間関係を直接モデル化し,同時にエンドツーエンドでマルチ・メッシュ・リカバリを行うコーディネート・トランスフォーマーを提案する。
3DPWデータセットの実験では、CoordFormerが最先端の精度を大幅に向上し、MPJPE、PAMPJPE、PVEの計測値でそれぞれ4.2%、8.8%、そして4.7%を上回った。
論文 参考訳（メタデータ） (2023-08-20T18:23:07Z) - H-SLAM: Hybrid Direct-Indirect Visual SLAM [1.1470070927586016]
本稿では,1つの逆深度シーン表現を生成するために記述子共有を利用する新しい手法を提案する。
この表現は局所的に使用することができ、ループクロージャを実行するためにグローバルにクエリされ、以前に観測されたマップポイントを再活性化する機能を持つ。
提案手法で生成したマップは互いにドリフトを示さず,他の単分子SLAMシステムに必要な計算コストとメモリフットプリントのごく一部で計算できる。
論文 参考訳（メタデータ） (2023-06-12T18:39:03Z) - ASH: A Modern Framework for Parallel Spatial Hashing in 3D Perception [91.24236600199542]
ASHは、GPU上の並列空間ハッシュのためのモダンで高性能なフレームワークである。
ASHはより高いパフォーマンスを実現し、よりリッチな機能をサポートし、より少ないコード行を必要とする。
ASHとそのサンプルアプリケーションはOpen3Dでオープンソース化されている。
論文 参考訳（メタデータ） (2021-10-01T16:25:40Z) - Accurate Visual-Inertial SLAM by Feature Re-identification [4.263022790692934]
空間時空間感度サブグローバルマップから既存の特徴を再同定し,効率的なドリフトレスSLAM法を提案する。
本手法は67.3%,87.5%の絶対翻訳誤差を最小の計算コストで削減する。
論文 参考訳（メタデータ） (2021-02-26T12:54:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。