論文の概要: A Temporal Learning Approach to Inpainting Endoscopic Specularities and
Its effect on Image Correspondence
- arxiv url: http://arxiv.org/abs/2203.17013v1
- Date: Thu, 31 Mar 2022 13:14:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-01 23:11:14.028854
- Title: A Temporal Learning Approach to Inpainting Endoscopic Specularities and
Its effect on Image Correspondence
- Title(参考訳): 経時的学習による内視鏡的鏡像の描出とその画像対応に及ぼす影響
- Authors: Rema Daher, Francisco Vasconcelos, Danail Stoyanov
- Abstract要約: 本稿では,時間的生成的対位ネットワーク(GAN)を用いて,隠蔽解剖学を特異性の下で描くことを提案する。
これは、胃内視鏡(Hyper-Kvasir)の生検データを用いて、完全に教師なしの方法で達成される。
また,3次元再構成とカメラモーション推定の基盤となるコンピュータビジョンタスクにおける本手法の有効性を評価する。
- 参考スコア(独自算出の注目度): 13.25903945009516
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video streams are utilised to guide minimally-invasive surgery and diagnostic
procedures in a wide range of procedures, and many computer assisted techniques
have been developed to automatically analyse them. These approaches can provide
additional information to the surgeon such as lesion detection, instrument
navigation, or anatomy 3D shape modeling. However, the necessary image features
to recognise these patterns are not always reliably detected due to the
presence of irregular light patterns such as specular highlight reflections. In
this paper, we aim at removing specular highlights from endoscopic videos using
machine learning. We propose using a temporal generative adversarial network
(GAN) to inpaint the hidden anatomy under specularities, inferring its
appearance spatially and from neighbouring frames where they are not present in
the same location. This is achieved using in-vivo data of gastric endoscopy
(Hyper-Kvasir) in a fully unsupervised manner that relies on automatic
detection of specular highlights. System evaluations show significant
improvements to traditional methods through direct comparison as well as other
machine learning techniques through an ablation study that depicts the
importance of the network's temporal and transfer learning components. The
generalizability of our system to different surgical setups and procedures was
also evaluated qualitatively on in-vivo data of gastric endoscopy and ex-vivo
porcine data (SERV-CT, SCARED). We also assess the effect of our method in
computer vision tasks that underpin 3D reconstruction and camera motion
estimation, namely stereo disparity, optical flow, and sparse point feature
matching. These are evaluated quantitatively and qualitatively and results show
a positive effect of specular highlight inpainting on these tasks in a novel
comprehensive analysis.
- Abstract(参考訳): ビデオストリームは、広範囲の手順で、最小侵襲の手術と診断手順をガイドするために利用されており、自動分析のために多くのコンピュータ支援技術が開発されている。
これらのアプローチは、病変検出、機器ナビゲーション、解剖学的3d形状モデリングなどの追加情報を提供することができる。
しかし、これらのパターンを認識するために必要な画像特徴は、スペクトルハイライト反射のような不規則な光パターンが存在するため、必ずしも確実に検出されない。
本稿では,機械学習を用いて内視鏡的映像のハイライトを除去することを目的とする。
本研究では,時間的生成逆数ネットワーク(GAN)を用いて,その外観を空間的に推定し,同じ場所に存在しないフレームから隠された解剖を特徴付ける。
これは、胃内視鏡(hyper-kvasir)のin-vivoデータを用いて、鏡像ハイライトの自動検出に依存する完全に教師なしの方法で達成される。
システム評価は、ネットワークの時間的および伝達的学習コンポーネントの重要性を描写したアブレーション研究を通じて、直接比較による従来の手法と、他の機械学習技術を大きく改善している。
また, 胃内視鏡検査, ブタ検診データ (SERV-CT, SCARED) を用いて, 術式や術式の違いによる全身性の評価を行った。
また,3次元再構成とカメラモーション推定の基盤となるコンピュータビジョンタスク,すなわち立体差,光フロー,スパース点特徴マッチングにおける本手法の有効性を評価する。
これらを定量的・定性的に評価し,新しい包括的分析において,これらの課題に対するスペキュラーハイライトの有意な効果を示した。
関連論文リスト
- Domain adaptation strategies for 3D reconstruction of the lumbar spine
using real fluoroscopy data [9.42467375312292]
本研究は整形外科手術における手術ナビゲーション導入における重要な障害に対処するものである。
これは、少数の蛍光画像から脊椎の3次元解剖モデルを生成するためのアプローチを示す。
これまでの合成データに基づく研究の精度に匹敵する84%のF1スコアを達成しました。
論文 参考訳(メタデータ) (2024-01-29T10:22:45Z) - Dense 3D Reconstruction Through Lidar: A Comparative Study on Ex-vivo
Porcine Tissue [16.786601606755013]
研究者たちは、視覚に基づく手術支援のための深度検知と3D再構成を積極的に研究している。
腹腔鏡下手術では, リアルタイム, 正確, 堅牢な3次元表示が困難である。
この研究は、3Dレーザーによる飛行時間センサーが解剖学的表面の再構成を行うことができる品質を徹底的に特徴付けるために、生き残ったブタの組織を定量的に検査する。
論文 参考訳(メタデータ) (2024-01-19T14:14:26Z) - AiAReSeg: Catheter Detection and Segmentation in Interventional
Ultrasound using Transformers [75.20925220246689]
血管内手術は、電離放射線を用いてカテーテルと血管を可視化するFluoroscopyの黄金標準を用いて行われる。
本研究では、最先端機械学習トランスフォーマアーキテクチャを応用して、軸干渉超音波画像シーケンス中のカテーテルを検出し、セグメント化する手法を提案する。
論文 参考訳(メタデータ) (2023-09-25T19:34:12Z) - Learning How To Robustly Estimate Camera Pose in Endoscopic Videos [5.073761189475753]
カメラポーズ推定における2つの幾何学的損失を最小限に抑えるために,奥行きと光学的流れを推定するステレオ内視鏡の解を提案する。
最も重要なことは、入力画像の内容に応じてコントリビューションのバランスをとるために、2つの学習された画素単位の重みマッピングを導入することである。
パブリックなSCAREDデータセットに対する我々のアプローチを検証するとともに、新たなインビボデータセットであるStereoMISを導入しています。
論文 参考訳(メタデータ) (2023-04-17T07:05:01Z) - Orientation-Shared Convolution Representation for CT Metal Artifact
Learning [63.67718355820655]
X線CT(CT)スキャン中、患者を乗せた金属インプラントは、しばしば有害なアーティファクトに繋がる。
既存のディープラーニングベースの手法は、有望な再構築性能を得た。
本稿では,人工物の物理的事前構造に適応するために,配向型畳み込み表現戦略を提案する。
論文 参考訳(メタデータ) (2022-12-26T13:56:12Z) - Morphology-Aware Interactive Keypoint Estimation [27.65145825087457]
医学的画像に基づく診断は、しばしば解剖学的キーポイントのマニュアルアノテーションを含む。
本稿では,ユーザインタラクションシステムを通じて解剖学的キーポイントを自動的に検出し,精査する,新しいディープニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2022-09-15T09:27:14Z) - Dissecting Self-Supervised Learning Methods for Surgical Computer Vision [51.370873913181605]
一般のコンピュータビジョンコミュニティでは,自己監視学習(SSL)手法が普及し始めている。
医学や手術など、より複雑で影響力のある領域におけるSSLメソッドの有効性は、限定的かつ未調査のままである。
外科的文脈理解,位相認識,ツール存在検出の2つの基本的なタスクに対して,これらの手法の性能をColec80データセット上で広範囲に解析する。
論文 参考訳(メタデータ) (2022-07-01T14:17:11Z) - Incremental Cross-view Mutual Distillation for Self-supervised Medical
CT Synthesis [88.39466012709205]
本稿では,スライス間の分解能を高めるために,新しい医療スライスを構築した。
臨床実践において, 根本・中間医療スライスは常に欠落していることを考慮し, 相互蒸留の段階的相互蒸留戦略を導入する。
提案手法は,最先端のアルゴリズムよりも明確なマージンで優れる。
論文 参考訳(メタデータ) (2021-12-20T03:38:37Z) - A parameter refinement method for Ptychography based on Deep Learning
concepts [55.41644538483948]
伝播距離、位置誤差、部分的コヒーレンスにおける粗いパラメトリゼーションは、しばしば実験の生存性を脅かす。
最新のDeep Learningフレームワークは、セットアップの不整合を自律的に補正するために使用され、ポチコグラフィーの再構築の質が向上する。
我々は,elettra シンクロトロン施設のツインミックビームラインで取得した合成データセットと実データの両方でシステムをテストした。
論文 参考訳(メタデータ) (2021-05-18T10:15:17Z) - SERV-CT: A disparity dataset from CT for validation of endoscopic 3D
reconstruction [8.448866668577946]
CT(SERV-CT)に基づく立体内視鏡再構成検証データセットを提案する。
SERV-CTデータセットは、内視鏡画像の大部分をカバーするスムーズな参照格差と深さを持つ外科的アプリケーションのための使いやすい立体的検証を提供します。
論文 参考訳(メタデータ) (2020-12-22T01:28:30Z) - Spatio-spectral deep learning methods for in-vivo hyperspectral
laryngeal cancer detection [49.32653090178743]
頭頸部腫瘍の早期発見は患者の生存に不可欠である。
ハイパースペクトルイメージング(HSI)は頭頸部腫瘍の非侵襲的検出に用いられる。
HSIに基づく喉頭癌診断のための複数の深層学習手法を提案する。
論文 参考訳(メタデータ) (2020-04-21T17:07:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。