論文の概要: A Temporal Learning Approach to Inpainting Endoscopic Specularities and Its effect on Image Correspondence

• arxiv url: http://arxiv.org/abs/2203.17013v1
• Date: Thu, 31 Mar 2022 13:14:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-01 23:11:14.028854
• Title: A Temporal Learning Approach to Inpainting Endoscopic Specularities and Its effect on Image Correspondence
• Title（参考訳）: 経時的学習による内視鏡的鏡像の描出とその画像対応に及ぼす影響
• Authors: Rema Daher, Francisco Vasconcelos, Danail Stoyanov
• Abstract要約: 本稿では,時間的生成的対位ネットワーク(GAN)を用いて,隠蔽解剖学を特異性の下で描くことを提案する。 これは、胃内視鏡(Hyper-Kvasir)の生検データを用いて、完全に教師なしの方法で達成される。 また,3次元再構成とカメラモーション推定の基盤となるコンピュータビジョンタスクにおける本手法の有効性を評価する。
• 参考スコア（独自算出の注目度）: 13.25903945009516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video streams are utilised to guide minimally-invasive surgery and diagnostic procedures in a wide range of procedures, and many computer assisted techniques have been developed to automatically analyse them. These approaches can provide additional information to the surgeon such as lesion detection, instrument navigation, or anatomy 3D shape modeling. However, the necessary image features to recognise these patterns are not always reliably detected due to the presence of irregular light patterns such as specular highlight reflections. In this paper, we aim at removing specular highlights from endoscopic videos using machine learning. We propose using a temporal generative adversarial network (GAN) to inpaint the hidden anatomy under specularities, inferring its appearance spatially and from neighbouring frames where they are not present in the same location. This is achieved using in-vivo data of gastric endoscopy (Hyper-Kvasir) in a fully unsupervised manner that relies on automatic detection of specular highlights. System evaluations show significant improvements to traditional methods through direct comparison as well as other machine learning techniques through an ablation study that depicts the importance of the network's temporal and transfer learning components. The generalizability of our system to different surgical setups and procedures was also evaluated qualitatively on in-vivo data of gastric endoscopy and ex-vivo porcine data (SERV-CT, SCARED). We also assess the effect of our method in computer vision tasks that underpin 3D reconstruction and camera motion estimation, namely stereo disparity, optical flow, and sparse point feature matching. These are evaluated quantitatively and qualitatively and results show a positive effect of specular highlight inpainting on these tasks in a novel comprehensive analysis.
• Abstract（参考訳）: ビデオストリームは、広範囲の手順で、最小侵襲の手術と診断手順をガイドするために利用されており、自動分析のために多くのコンピュータ支援技術が開発されている。 これらのアプローチは、病変検出、機器ナビゲーション、解剖学的3d形状モデリングなどの追加情報を提供することができる。 しかし、これらのパターンを認識するために必要な画像特徴は、スペクトルハイライト反射のような不規則な光パターンが存在するため、必ずしも確実に検出されない。 本稿では,機械学習を用いて内視鏡的映像のハイライトを除去することを目的とする。 本研究では,時間的生成逆数ネットワーク(GAN)を用いて,その外観を空間的に推定し,同じ場所に存在しないフレームから隠された解剖を特徴付ける。 これは、胃内視鏡(hyper-kvasir)のin-vivoデータを用いて、鏡像ハイライトの自動検出に依存する完全に教師なしの方法で達成される。 システム評価は、ネットワークの時間的および伝達的学習コンポーネントの重要性を描写したアブレーション研究を通じて、直接比較による従来の手法と、他の機械学習技術を大きく改善している。 また, 胃内視鏡検査, ブタ検診データ (SERV-CT, SCARED) を用いて, 術式や術式の違いによる全身性の評価を行った。 また,3次元再構成とカメラモーション推定の基盤となるコンピュータビジョンタスク,すなわち立体差,光フロー,スパース点特徴マッチングにおける本手法の有効性を評価する。 これらを定量的・定性的に評価し,新しい包括的分析において,これらの課題に対するスペキュラーハイライトの有意な効果を示した。

関連論文リスト

• Data-Centric Learning Framework for Real-Time Detection of Aiming Beam in Fluorescence Lifetime Imaging Guided Surgery [3.8261910636994925]
  本研究では,FLImを用いたリアルタイム手術指導のための新しいデータ中心アプローチを提案する。 第一の課題は,特に経口ロボット手術(TORS)における手術環境における複雑で変動的な状態から生じる。 ラベルノイズの最小化と検出ロバスト性の向上により精度を向上させるデータ中心のトレーニング戦略を用いて,インスタンスセグメンテーションモデルを開発した。
  論文  参考訳（メタデータ） (2024-11-11T22:04:32Z)
• Intraoperative Registration by Cross-Modal Inverse Neural Rendering [61.687068931599846]
  クロスモーダル逆ニューラルレンダリングによる神経外科手術における術中3D/2Dレジストレーションのための新しいアプローチを提案する。 本手法では,暗黙の神経表現を2つの構成要素に分離し,術前および術中における解剖学的構造について検討した。 臨床症例の振り返りデータを用いて本法の有効性を検証し,現在の登録基準を満たした状態での最先端の検査成績を示した。
  論文  参考訳（メタデータ） (2024-09-18T13:40:59Z)
• A self-supervised and adversarial approach to hyperspectral demosaicking and RGB reconstruction in surgical imaging [3.426432165500852]
  ハイパースペクトルイメージングは、肉眼では見えない詳細な情報を持つ生体組織分化機能を提供することによって、外科的イメージングにおいて有望である。 術中誘導のためには、リアルタイムのスペクトルデータキャプチャと表示が義務付けられている。この要件から、現在、スナップショットモザイクハイパースペクトルカメラが最も適した技術であると見なされている。 本稿では,2組の高分解能データに依存しない自己教師型復号法とRGB再構成法を提案する。
  論文  参考訳（メタデータ） (2024-07-27T15:29:35Z)
• High-fidelity Endoscopic Image Synthesis by Utilizing Depth-guided Neural Surfaces [18.948630080040576]
  内視鏡画像に適用したNeuSを1フレームの深度マップで補足した新しい大腸部分再建法を提案する。 本手法は, 大腸切片を完全にレンダリングし, 表面の見えない部分を捕捉する際の異常な精度を示す。 このブレークスルーは、安定的で一貫してスケールされた再建を達成するための道を開き、がんスクリーニングの手順と治療介入の質を高めることを約束する。
  論文  参考訳（メタデータ） (2024-04-20T18:06:26Z)
• CathFlow: Self-Supervised Segmentation of Catheters in Interventional Ultrasound Using Optical Flow and Transformers [66.15847237150909]
  縦型超音波画像におけるカテーテルのセグメンテーションのための自己教師型ディープラーニングアーキテクチャを提案する。 ネットワークアーキテクチャは、Attention in Attentionメカニズムで構築されたセグメンテーショントランスフォーマであるAiAReSeg上に構築されている。 我々は,シリコンオルタファントムから収集した合成データと画像からなる実験データセット上で,我々のモデルを検証した。
  論文  参考訳（メタデータ） (2024-03-21T15:13:36Z)
• AiAReSeg: Catheter Detection and Segmentation in Interventional Ultrasound using Transformers [75.20925220246689]
  血管内手術は、電離放射線を用いてカテーテルと血管を可視化するFluoroscopyの黄金標準を用いて行われる。 本研究では、最先端機械学習トランスフォーマアーキテクチャを応用して、軸干渉超音波画像シーケンス中のカテーテルを検出し、セグメント化する手法を提案する。
  論文  参考訳（メタデータ） (2023-09-25T19:34:12Z)
• Learning How To Robustly Estimate Camera Pose in Endoscopic Videos [5.073761189475753]
  カメラポーズ推定における2つの幾何学的損失を最小限に抑えるために,奥行きと光学的流れを推定するステレオ内視鏡の解を提案する。 最も重要なことは、入力画像の内容に応じてコントリビューションのバランスをとるために、2つの学習された画素単位の重みマッピングを導入することである。 パブリックなSCAREDデータセットに対する我々のアプローチを検証するとともに、新たなインビボデータセットであるStereoMISを導入しています。
  論文  参考訳（メタデータ） (2023-04-17T07:05:01Z)
• Morphology-Aware Interactive Keypoint Estimation [32.52024944963992]
  医学的画像に基づく診断は、しばしば解剖学的キーポイントのマニュアルアノテーションを含む。 本稿では,ユーザインタラクションシステムを通じて解剖学的キーポイントを自動的に検出し,精査する,新しいディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-15T09:27:14Z)
• Dissecting Self-Supervised Learning Methods for Surgical Computer Vision [51.370873913181605]
  一般のコンピュータビジョンコミュニティでは,自己監視学習(SSL)手法が普及し始めている。 医学や手術など、より複雑で影響力のある領域におけるSSLメソッドの有効性は、限定的かつ未調査のままである。 外科的文脈理解,位相認識,ツール存在検出の2つの基本的なタスクに対して,これらの手法の性能をColec80データセット上で広範囲に解析する。
  論文  参考訳（メタデータ） (2022-07-01T14:17:11Z)
• A parameter refinement method for Ptychography based on Deep Learning concepts [55.41644538483948]
  伝播距離、位置誤差、部分的コヒーレンスにおける粗いパラメトリゼーションは、しばしば実験の生存性を脅かす。 最新のDeep Learningフレームワークは、セットアップの不整合を自律的に補正するために使用され、ポチコグラフィーの再構築の質が向上する。 我々は,elettra シンクロトロン施設のツインミックビームラインで取得した合成データセットと実データの両方でシステムをテストした。
  論文  参考訳（メタデータ） (2021-05-18T10:15:17Z)
• Spatio-spectral deep learning methods for in-vivo hyperspectral laryngeal cancer detection [49.32653090178743]
  頭頸部腫瘍の早期発見は患者の生存に不可欠である。 ハイパースペクトルイメージング(HSI)は頭頸部腫瘍の非侵襲的検出に用いられる。 HSIに基づく喉頭癌診断のための複数の深層学習手法を提案する。
  論文  参考訳（メタデータ） (2020-04-21T17:07:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。