論文の概要: Colonoscopy 3D Video Dataset with Paired Depth from 2D-3D Registration
- arxiv url: http://arxiv.org/abs/2206.08903v1
- Date: Fri, 17 Jun 2022 17:23:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-20 15:42:43.181429
- Title: Colonoscopy 3D Video Dataset with Paired Depth from 2D-3D Registration
- Title(参考訳): 2D-3Dレジストレーションによる深度3次元ビデオデータセット
- Authors: Taylor L. Bobrow, Mayank Golhar, Rohan Vijayan, Venkata S. Akshintala,
Juan R. Garcia, and Nicholas J. Durr
- Abstract要約: 大腸内視鏡におけるコンピュータビジョン手法のベンチマークのための3Dビデオデータセット(C3VD)を提案する。
そこで本研究では,光学ビデオシーケンスを,既知の3次元モデルの地上実写表示で登録するための,新しい2D-3D登録手法を提案する。
- 参考スコア(独自算出の注目度): 2.423769782993484
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Screening colonoscopy is an important clinical application for several 3D
computer vision techniques, including depth estimation, surface reconstruction,
and missing region detection. However, the development, evaluation, and
comparison of these techniques in real colonoscopy videos remain largely
qualitative due to the difficulty of acquiring ground truth data. In this work,
we present a Colonoscopy 3D Video Dataset (C3VD) acquired with a high
definition clinical colonoscope and high-fidelity colon models for benchmarking
computer vision methods in colonoscopy. We introduce a novel multimodal 2D-3D
registration technique to register optical video sequences with ground truth
rendered views of a known 3D model. The different modalities are registered by
transforming optical images to depth maps with a Generative Adversarial Network
and aligning edge features with an evolutionary optimizer. This registration
method achieves an average translation error of 0.321 millimeters and an
average rotation error of 0.159 degrees in simulation experiments where
error-free ground truth is available. The method also leverages video
information, improving registration accuracy by 55.6% for translation and 60.4%
for rotation compared to single frame registration. 22 short video sequences
were registered to generate 10,015 total frames with paired ground truth depth,
surface normals, optical flow, occlusion, six degree-of-freedom pose, coverage
maps, and 3D models. The dataset also includes screening videos acquired by a
gastroenterologist with paired ground truth pose and 3D surface models. The
dataset and registration source code are available at durr.jhu.edu/C3VD.
- Abstract(参考訳): スクリーニング大腸内視鏡は,深度推定,表面再構成,欠損領域検出など,いくつかの3次元コンピュータビジョン技術における重要な臨床応用である。
しかし,実際の大腸内視鏡映像におけるこれらの手法の開発と評価,比較は,真理データ取得の難しさから定性的なままである。
本稿では,高精細度大腸内視鏡と高精細度大腸モデルを用いて取得した大腸内視鏡3dビデオデータセット(c3vd)について紹介する。
本稿では, 既知の3次元モデルの基底真理レンダリングを用いた光学映像列を登録する, 新規なマルチモーダル2d-3d登録手法を提案する。
光画像からデプスマップへジェネレーティブ・アドバイサル・ネットワークで変換し、エッジ特徴を進化最適化器で整列することで、様々なモダリティが登録される。
この登録法は, 誤差のない地上真実が利用できるシミュレーション実験において, 平均翻訳誤差0.321mm, 平均回転誤差0.159度を達成する。
また、ビデオ情報を利用して、翻訳の登録精度を55.6%向上し、回転の60.4%向上させる。
22の短いビデオシーケンスが登録され、ペア化された地上の真理深度、表面の正常度、光学的流れ、閉塞度、6自由度ポーズ、カバレッジマップ、および3Dモデルで10,015フレームを生成する。
このデータセットには、胃腸科医が取得した3Dサーフェスモデルを用いたスクリーニングビデオも含まれている。
データセットと登録ソースコードは durr.jhu.edu/C3VD で入手できる。
関連論文リスト
- Domain adaptation strategies for 3D reconstruction of the lumbar spine
using real fluoroscopy data [9.42467375312292]
本研究は整形外科手術における手術ナビゲーション導入における重要な障害に対処するものである。
これは、少数の蛍光画像から脊椎の3次元解剖モデルを生成するためのアプローチを示す。
これまでの合成データに基づく研究の精度に匹敵する84%のF1スコアを達成しました。
論文 参考訳(メタデータ) (2024-01-29T10:22:45Z) - On the Localization of Ultrasound Image Slices within Point Distribution
Models [84.27083443424408]
甲状腺疾患は高分解能超音波(US)で診断されることが多い
縦断追跡は病理甲状腺形態の変化をモニタリングするための重要な診断プロトコルである。
3次元形状表現におけるUS画像の自動スライスローカライズのためのフレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-01T10:10:46Z) - AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。
3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。
次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
論文 参考訳(メタデータ) (2023-07-07T17:59:14Z) - Oral-3Dv2: 3D Oral Reconstruction from Panoramic X-Ray Imaging with
Implicit Neural Representation [3.8215162658168524]
Oral-3Dv2は、単一のパノラマX線画像から3Dラジオロジーを再構成する非逆学習モデルである。
本モデルは,2次元座標を3次元空間内のボクセルの密度値にマッピングすることにより,暗黙的に3次元口腔構造を表現することを学習する。
我々の知る限りでは、これは1枚のパノラマX線画像から3Dラジオグラフィ再構成における非逆学習モデルの最初の作品である。
論文 参考訳(メタデータ) (2023-03-21T18:17:27Z) - CNN-based real-time 2D-3D deformable registration from a single X-ray
projection [2.1198879079315573]
本稿では, フルオロスコープ画像を用いたリアルタイム2D-3D非剛体登録法を提案する。
術前スキャンから解剖学の変位場と2次元投影からなるデータセットを生成する。
ニューラルネットワークは、未知の3D変位場を単一の投影画像から回復するように訓練される。
論文 参考訳(メタデータ) (2022-12-15T09:57:19Z) - 3D Reconstruction of Curvilinear Structures with Stereo Matching
DeepConvolutional Neural Networks [52.710012864395246]
本稿では,立体対における曲線構造の検出とマッチングのための完全自動パイプラインを提案する。
主に、TEM画像のステレオ対から転位を3次元再構成することに焦点を当てる。
論文 参考訳(メタデータ) (2021-10-14T23:05:47Z) - Deep Learning compatible Differentiable X-ray Projections for Inverse
Rendering [8.926091372824942]
距離マップを生成するために、メッシュ内部の線状構造によって移動される距離を導出して微分可能とする。
骨盤の実際の2次元蛍光画像から3次元モデルを再構成する逆問題(逆問題)を解くことにより,その応用を示す。
論文 参考訳(メタデータ) (2021-02-04T22:06:05Z) - Automated Model Design and Benchmarking of 3D Deep Learning Models for
COVID-19 Detection with Chest CT Scans [72.04652116817238]
3D胸部CTスキャン分類のための3D DLモデルを自動的に検索するための差別化可能なニューラルネットワーク探索(DNAS)フレームワークを提案する。
また,我々のモデルのクラスアクティベーションマッピング(cam)技術を利用して,結果の解釈可能性を提供する。
論文 参考訳(メタデータ) (2021-01-14T03:45:01Z) - Colonoscopy Polyp Detection: Domain Adaptation From Medical Report
Images to Real-time Videos [76.37907640271806]
大腸内視鏡画像と実時間映像の領域間ギャップに対処する画像-ビデオ結合型ポリープ検出ネットワーク(Ivy-Net)を提案する。
収集したデータセットの実験は、Ivy-Netが大腸内視鏡ビデオで最先端の結果を達成することを示した。
論文 参考訳(メタデータ) (2020-12-31T10:33:09Z) - Revisiting 3D Context Modeling with Supervised Pre-training for
Universal Lesion Detection in CT Slices [48.85784310158493]
CTスライスにおける普遍的病変検出のための3Dコンテキスト強化2D特徴を効率的に抽出するための修飾擬似3次元特徴ピラミッドネットワーク(MP3D FPN)を提案する。
新たな事前学習手法により,提案したMP3D FPNは,DeepLesionデータセット上での最先端検出性能を実現する。
提案された3Dプリトレーニングウェイトは、他の3D医療画像分析タスクのパフォーマンスを高めるために使用できる。
論文 参考訳(メタデータ) (2020-12-16T07:11:16Z) - EndoSLAM Dataset and An Unsupervised Monocular Visual Odometry and Depth
Estimation Approach for Endoscopic Videos: Endo-SfMLearner [10.341552258136572]
ブタの臓器の3次元点クラウドデータからなる包括的内視鏡的SLAMデータセットを提案する。
深度とポーズアノテーションを兼ね備えた合成カプセル内視鏡フレームは、シミュレーションから現実の移動学習アルゴリズムの研究を容易にするために組み込まれている。
教師なし単眼深度とポーズ推定法であるEndo-SfMLearnerを提案する。
論文 参考訳(メタデータ) (2020-06-30T10:43:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。