論文の概要: SAGE: SLAM with Appearance and Geometry Prior for Endoscopy
- arxiv url: http://arxiv.org/abs/2202.09487v2
- Date: Tue, 22 Feb 2022 18:24:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-23 12:45:38.539938
- Title: SAGE: SLAM with Appearance and Geometry Prior for Endoscopy
- Title(参考訳): SAGE:内視鏡に先立って外観と幾何学を備えたSLAM
- Authors: Xingtong Liu, Zhaoshuo Li, Masaru Ishii, Gregory D. Hager, Russell H.
Taylor, Mathias Unberath
- Abstract要約: 内視鏡において、多くの応用は、同時に内視鏡を追跡し、観察された解剖学の密度の高い3次元形状を単眼内視鏡ビデオから再構築するリアルタイムな手法の恩恵を受けるだろう。
学習に基づく外観と最適化可能な幾何先行と因子グラフの最適化を組み合わせることで、同時局所化とマッピングシステムを開発する。
提案したSLAMシステムは, 内視鏡で一般的に見られるテクスチャの不足や照明のばらつきといった問題に対して, 頑健に対処できることが示されている。
- 参考スコア(独自算出の注目度): 24.94746710994156
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In endoscopy, many applications (e.g., surgical navigation) would benefit
from a real-time method that can simultaneously track the endoscope and
reconstruct the dense 3D geometry of the observed anatomy from a monocular
endoscopic video. To this end, we develop a Simultaneous Localization and
Mapping system by combining the learning-based appearance and optimizable
geometry priors and factor graph optimization. The appearance and geometry
priors are explicitly learned in an end-to-end differentiable training pipeline
to master the task of pair-wise image alignment, one of the core components of
the SLAM system. In our experiments, the proposed SLAM system is shown to
robustly handle the challenges of texture scarceness and illumination variation
that are commonly seen in endoscopy. The system generalizes well to unseen
endoscopes and subjects and performs favorably compared with a state-of-the-art
feature-based SLAM system. The code repository is available at
https://github.com/lppllppl920/SAGE-SLAM.git.
- Abstract(参考訳): 内視鏡では、多くの応用(例えば手術ナビゲーション)が、内視鏡を同時に追跡し、観察された解剖学の密度の高い3D形状を単眼内視鏡ビデオから再構成するリアルタイムな手法の恩恵を受ける。
この目的のために、学習に基づく外観と最適化可能な幾何先行と因子グラフ最適化を組み合わせた同時局所化マッピングシステムを開発した。
外観と幾何学の事前は、SLAMシステムのコアコンポーネントであるペアワイドイメージアライメントのタスクをマスターするために、エンドツーエンドの微分可能なトレーニングパイプラインで明示的に学習される。
実験では,提案するスラムシステムは,内視鏡で一般的に見られるテクスチャ不足や照明変化の課題を頑健に処理できることが示されている。
このシステムは、目に見えない内視鏡や被験者によく一般化し、最先端の機能ベースのSLAMシステムと比較して好適に機能する。
コードリポジトリはhttps://github.com/lppllppl920/sage-slam.gitで入手できる。
関連論文リスト
- SGS-SLAM: Semantic Gaussian Splatting For Neural Dense SLAM [5.40196077344801]
SGS-SLAMはSplattingに基づく最初の意味的視覚的SLAMシステムである。
外観幾何学とマルチチャネル最適化による意味的特徴は、ニューラル暗黙のSLAMシステムの過度な制限に対処する。
カメラポーズ推定、マップ再構成、正確なセマンティックセグメンテーション、およびオブジェクトレベルの幾何精度において最先端のパフォーマンスを提供する。
論文 参考訳(メタデータ) (2024-02-05T18:03:53Z) - DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。
本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。
実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文 参考訳(メタデータ) (2023-11-30T21:34:44Z) - A geometry-aware deep network for depth estimation in monocular
endoscopy [17.425158094539462]
提案手法は,異なるデータセットと臨床画像にまたがって広範囲に検証されている。
提案法の平均RMSE値は12.604(T1-L1)、9.930(T2-L2)、13.893(Colon)である。
論文 参考訳(メタデータ) (2023-04-20T11:59:32Z) - EndoMapper dataset of complete calibrated endoscopy procedures [8.577980383972005]
本報告では,通常の診療で取得した内視鏡の完全配列の最初のコレクションであるEndomapperデータセットについて紹介する。
データは3Dマッピングとローカライゼーションシステムの構築に使用され、探索中に盲点を検出するなど、特別なタスクを実行できる。
論文 参考訳(メタデータ) (2022-04-29T17:10:01Z) - A Temporal Learning Approach to Inpainting Endoscopic Specularities and
Its effect on Image Correspondence [13.25903945009516]
本稿では,時間的生成的対位ネットワーク(GAN)を用いて,隠蔽解剖学を特異性の下で描くことを提案する。
これは、胃内視鏡(Hyper-Kvasir)の生検データを用いて、完全に教師なしの方法で達成される。
また,3次元再構成とカメラモーション推定の基盤となるコンピュータビジョンタスクにおける本手法の有効性を評価する。
論文 参考訳(メタデータ) (2022-03-31T13:14:00Z) - Multimodal Semantic Scene Graphs for Holistic Modeling of Surgical
Procedures [70.69948035469467]
カメラビューから3Dグラフを生成するための最新のコンピュータビジョン手法を利用する。
次に,手術手順の象徴的,意味的表現を統一することを目的としたマルチモーダルセマンティックグラフシーン(MSSG)を紹介する。
論文 参考訳(メタデータ) (2021-06-09T14:35:44Z) - Emergence of Lie symmetries in functional architectures learned by CNNs [63.69764116066748]
本研究では,自然画像の学習において,畳み込みニューラルネットワーク(CNN)の初期層における対称性の自発的発達について検討する。
私たちのアーキテクチャは、生体視覚システムの初期段階を模倣するために構築されています。
論文 参考訳(メタデータ) (2021-04-17T13:23:26Z) - Single-shot Hyperspectral-Depth Imaging with Learned Diffractive Optics [72.9038524082252]
単発単眼単眼ハイパースペクトル(HS-D)イメージング法を提案する。
本手法では, 回折光学素子 (DOE) を用いる。
DOE の学習を容易にするため,ベンチトップ HS-D イメージラーを構築することで,最初の HS-D データセットを提案する。
論文 参考訳(メタデータ) (2020-09-01T14:19:35Z) - Pathological Retinal Region Segmentation From OCT Images Using Geometric
Relation Based Augmentation [84.7571086566595]
本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。
提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
論文 参考訳(メタデータ) (2020-03-31T11:50:43Z) - Redesigning SLAM for Arbitrary Multi-Camera Systems [51.81798192085111]
SLAMシステムにより多くのカメラを追加することで、堅牢性と精度が向上するが、視覚的なフロントエンドの設計は大幅に複雑になる。
本研究では,任意のマルチカメラ装置で動作する適応SLAMシステムを提案する。
これらの修正を応用した最先端の視覚慣性計測装置を試作し, 改良したパイプラインが広い範囲のカメラ装置に適応可能であることを示す実験結果を得た。
論文 参考訳(メタデータ) (2020-03-04T11:44:42Z) - DeepFactors: Real-Time Probabilistic Dense Monocular SLAM [29.033778410908877]
本稿では,リアルタイム性能を維持しつつ,確率的フレームワークでメソッドを統一するSLAMシステムを提案する。
これは、学習されたコンパクトな深度マップ表現を使用し、3種類のエラーを修正することによって達成される。
本研究では,実世界列の軌跡推定と深度再構成に関するシステム評価を行い,推定密度幾何の様々な例を示す。
論文 参考訳(メタデータ) (2020-01-14T21:08:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。