論文の概要: Bimodal Camera Pose Prediction for Endoscopy
- arxiv url: http://arxiv.org/abs/2204.04968v2
- Date: Fri, 15 Dec 2023 16:08:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-18 19:56:14.880731
- Title: Bimodal Camera Pose Prediction for Endoscopy
- Title（参考訳）: 内視鏡用バイモーダルカメラポース予測
- Authors: Anita Rau, Binod Bhattarai, Lourdes Agapito, Danail Stoyanov
- Abstract要約: 大腸内視鏡におけるカメラポーズ推定のための合成データセットSimColを提案する。
我々のデータセットは実際の大腸内視鏡の動きを再現し、既存の方法の欠点を強調します。
シミュレーション大腸内視鏡による18kのRGB画像とそれに対応する深度とカメラのポーズを公開し,Unityのデータ生成環境を一般公開した。
- 参考スコア（独自算出の注目度）: 23.12495584329767
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deducing the 3D structure of endoscopic scenes from images is exceedingly
challenging. In addition to deformation and view-dependent lighting, tubular
structures like the colon present problems stemming from their self-occluding
and repetitive anatomical structure. In this paper, we propose SimCol, a
synthetic dataset for camera pose estimation in colonoscopy, and a novel method
that explicitly learns a bimodal distribution to predict the endoscope pose.
Our dataset replicates real colonoscope motion and highlights the drawbacks of
existing methods. We publish 18k RGB images from simulated colonoscopy with
corresponding depth and camera poses and make our data generation environment
in Unity publicly available. We evaluate different camera pose prediction
methods and demonstrate that, when trained on our data, they generalize to real
colonoscopy sequences, and our bimodal approach outperforms prior unimodal
work.
- Abstract（参考訳）: 内視鏡的シーンの3次元構造を画像から再現することは極めて困難である。
変形と視野依存の照明に加えて、結腸のような管状構造は、その自閉と繰り返し解剖学的構造に起因する問題が存在する。
本稿では,大腸内視鏡におけるカメラポーズ推定のための合成データセットであるSimColと,内視鏡ポーズ予測のためのバイモーダル分布を明示的に学習する手法を提案する。
我々のデータセットは実際の大腸内視鏡の動きを再現し、既存の方法の欠点を強調します。
シミュレーション大腸内視鏡による18kのRGB画像とそれに対応する深度とカメラのポーズを公開し,Unityのデータ生成環境を一般公開した。
異なるカメラポーズ予測法を評価し,データに基づいてトレーニングすると実際の大腸内視鏡像に一般化し,このバイモーダルアプローチが先行するユニモーダル作業よりも優れていることを示す。
関連論文リスト
- ToDER: Towards Colonoscopy Depth Estimation and Reconstruction with Geometry Constraint Adaptation [67.22294293695255]
そこで本稿では,ToDERという双方向適応アーキテクチャを用いて,高精度な深度推定を行う新しいパイプラインを提案する。
以上の結果から,本手法は実写および合成大腸内視鏡ビデオの深度マップを精度良く予測できることが示唆された。
論文 参考訳（メタデータ） (2024-07-23T14:24:26Z) - EndoSparse: Real-Time Sparse View Synthesis of Endoscopic Scenes using Gaussian Splatting [39.60431471170721]
内視鏡画像からの生体組織の3次元再構成は, 様々な重要な下流外科的応用を3D機能で解き放つ鍵となる。
既存の手法では、ビュー合成に様々な高度なニューラルレンダリング技術を採用しているが、スパースな観察しかできない場合には、正確な3D表現の復元に苦慮することが多い。
再建過程において,複数の基盤モデルから事前の知識を活用するフレームワークを提案し,それをtextitEndoSparse と呼ぶ。
論文 参考訳（メタデータ） (2024-07-01T07:24:09Z) - FLex: Joint Pose and Dynamic Radiance Fields Optimization for Stereo Endoscopic Videos [79.50191812646125]
内視鏡的シーンの再構築は、外科手術後の分析から教育訓練まで、様々な医療応用にとって重要な要素である。
変形組織の非常にダイナミックな環境下での移動内視鏡の挑戦的なセットアップに着目する。
複数重重なり合う4次元ニューラルラジアンスフィールド(NeRF)への暗黙的なシーン分離と、再構成とカメラのスクラッチからのポーズを協調的に最適化するプログレッシブ最適化手法を提案する。
これにより、使いやすさが向上し、5000フレーム以上の手術ビデオの処理に間に合うように復元能力を拡張できる。
論文 参考訳（メタデータ） (2024-03-18T19:13:02Z) - Endora: Video Generation Models as Endoscopy Simulators [53.72175969751398]
本稿では,臨床内視鏡シーンをシミュレートする医用ビデオを作成するための革新的な手法であるモデルを紹介する。
また、ビデオ生成モデルを用いた内視鏡シミュレーションのための最初の公開ベンチマークを開拓した。
Endoraは、臨床内視鏡研究のための生成AIの展開において、注目すべきブレークスルーとなる。
論文 参考訳（メタデータ） (2024-03-17T00:51:59Z) - Cameras as Rays: Pose Estimation via Ray Diffusion [54.098613859015856]
カメラのポーズを推定することは3D再構成の基本的な課題であり、まばらにサンプリングされたビューを考えると依然として困難である。
本稿では,カメラを光束として扱うカメラポーズの分散表現を提案する。
提案手法は回帰法と拡散法の両方で,CO3Dのカメラポーズ推定における最先端性能を示す。
論文 参考訳（メタデータ） (2024-02-22T18:59:56Z) - LightNeuS: Neural Surface Reconstruction in Endoscopy using Illumination
Decline [45.49984459497878]
単眼内視鏡で取得した画像から3次元再構成を行う手法を提案する。
第一に、内的空洞は水密であり、符号付き距離関数でモデル化することによって自然に強制される性質である。
第二に、シーンの照明は可変であり、それは内視鏡の光源から来ており、四角い距離と表面との逆転で崩壊する。
論文 参考訳（メタデータ） (2023-09-06T06:41:40Z) - SimCol3D -- 3D Reconstruction during Colonoscopy Challenge [31.01817462784811]
2022年のEndoVisのサブチャレンジSimCol3Dは、データ駆動深度を促進し、大腸内視鏡で予測する。
合成大腸内視鏡画像からの深度予測は頑健に解けるが, ポーズ推定は未解決の課題である。
論文 参考訳（メタデータ） (2023-07-20T22:41:23Z) - SoftEnNet: Symbiotic Monocular Depth Estimation and Lumen Segmentation
for Colonoscopy Endorobots [2.9696400288366127]
大腸癌は世界で3番目に多いがん死の原因である。
視覚ベースの自律型内視鏡は大腸内視鏡の手順を大幅に改善することができる。
論文 参考訳（メタデータ） (2023-01-19T16:22:17Z) - Photometric single-view dense 3D reconstruction in endoscopy [2.094821665776961]
大腸内視鏡検査において,光度ステレオによるヒト大腸の3次元立体再構成を実現するために,制御光を利用する。
本手法は実際の医療環境下で機能し,適切な位置校正法と大腸管形状に適応した深さ推定法の両方を提供する。
論文 参考訳（メタデータ） (2022-04-19T18:23:31Z) - Tracking monocular camera pose and deformation for SLAM inside the human
body [2.094821665776961]
カメラのポーズと3Dシーンの変形を同時に追跡する新しい手法を提案する。
この方法は照明不変の測光法を用いて画像の特徴を追跡し、カメラの動きと変形を推定する。
以上の結果から, 複雑なシーンにおいて, 変形のレベルが増大する中で, 方法の精度とロバスト性を示すことが示唆された。
論文 参考訳（メタデータ） (2022-04-18T13:25:23Z) - Colonoscopy Polyp Detection: Domain Adaptation From Medical Report
Images to Real-time Videos [76.37907640271806]
大腸内視鏡画像と実時間映像の領域間ギャップに対処する画像-ビデオ結合型ポリープ検出ネットワーク(Ivy-Net)を提案する。
収集したデータセットの実験は、Ivy-Netが大腸内視鏡ビデオで最先端の結果を達成することを示した。
論文 参考訳（メタデータ） (2020-12-31T10:33:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。