論文の概要: Leveraging Near-Field Lighting for Monocular Depth Estimation from Endoscopy Videos

• arxiv url: http://arxiv.org/abs/2403.17915v3
• Date: Thu, 18 Jul 2024 04:27:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 21:01:57.119662
• Title: Leveraging Near-Field Lighting for Monocular Depth Estimation from Endoscopy Videos
• Title（参考訳）: 内視鏡映像からの単眼深度推定のための近接場照明の活用
• Authors: Akshay Paruchuri, Samuel Ehrenstein, Shuxian Wang, Inbar Fried, Stephen M. Pizer, Marc Niethammer, Roni Sengupta,
• Abstract要約: 内視鏡ビデオにおける単眼深度推定は、補助手術やロボット手術により、臓器のより良いカバレッジと様々な健康問題の検出が可能になる。 主流の自然画像深度推定では有望な進歩があったが、内視鏡画像では技術が不十分であった。 本稿では, 内視鏡から放射される光を表面から反射する光学的手がかりを用いて, 単分子深度推定を改善する。
• 参考スコア（独自算出の注目度）: 12.497782583094281
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Monocular depth estimation in endoscopy videos can enable assistive and robotic surgery to obtain better coverage of the organ and detection of various health issues. Despite promising progress on mainstream, natural image depth estimation, techniques perform poorly on endoscopy images due to a lack of strong geometric features and challenging illumination effects. In this paper, we utilize the photometric cues, i.e., the light emitted from an endoscope and reflected by the surface, to improve monocular depth estimation. We first create two novel loss functions with supervised and self-supervised variants that utilize a per-pixel shading representation. We then propose a novel depth refinement network (PPSNet) that leverages the same per-pixel shading representation. Finally, we introduce teacher-student transfer learning to produce better depth maps from both synthetic data with supervision and clinical data with self-supervision. We achieve state-of-the-art results on the C3VD dataset while estimating high-quality depth maps from clinical data. Our code, pre-trained models, and supplementary materials can be found on our project page: https://ppsnet.github.io/
• Abstract（参考訳）: 内視鏡ビデオにおける単眼深度推定は、補助手術やロボット手術によって臓器のより良いカバレッジと様々な健康問題の検出を可能にする。 主流である自然画像深度推定の進歩は期待できるが、強力な幾何学的特徴の欠如と難解な照明効果のため、内視鏡画像では技術が不十分である。 本稿では, 内視鏡から放射される光を表面から反射する光学的手がかりを用いて, 単分子深度推定を改善する。 まず、画素ごとのシェーディング表現を利用した教師付きおよび自己監督型の2つの新しい損失関数を作成する。 次に、同じピクセルごとのシェーディング表現を利用する新しい深度改善ネットワーク(PPSNet)を提案する。 最後に,教師学生の移動学習を導入し,自己監督型と臨床データを用いた合成データから,より深い深度マップを作成する。 我々は,臨床データから高品質な深度マップを推定しながら,C3VDデータセットの最先端結果を得る。 私たちのコード、事前訓練されたモデル、補足的な資料は、プロジェクトのページで確認できます。

関連論文リスト

• Uncertainty and Self-Supervision in Single-View Depth [0.8158530638728501]
  シングルビューの深さ推定は、単一のビューから3次元幾何学を説明する複数の解が存在するため、不適切な問題である。 ディープニューラルネットワークは単一の視点から深度を捉えるのに有効であることが示されているが、現在の方法論の大半は本質的に決定論的である。 我々はベイジアンディープニューラルネットワークにおける教師付き単一視点深度の不確かさを定量化することでこの問題に対処した。
  論文  参考訳（メタデータ） (2024-06-20T11:46:17Z)
• Robust Depth Enhancement via Polarization Prompt Fusion Tuning [112.88371907047396]
  様々な深度センサによる不正確な深度測定を改善するために偏光イメージングを利用するフレームワークを提案する。 まず、偏光データとセンサ深度マップから高密度で完全な深度マップを推定するために、ニューラルネットワークを訓練した学習ベースの戦略を採用する。 大規模データセット上で事前学習したRGBモデルを有効に活用するためのPPFT(Polarization Prompt Fusion Tuning)戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-05T17:55:33Z)
• Multi-task learning with cross-task consistency for improved depth estimation in colonoscopy [0.2995885872626565]
  我々は、共有エンコーダと2つのデコーダ、すなわち表面正規デコーダと深度推定器を備えた新しいマルチタスク学習(MTL)アプローチを開発する。 比較誤差は14.17%、$delta_1$精度は10.4%改善した。
  論文  参考訳（メタデータ） (2023-11-30T16:13:17Z)
• LightNeuS: Neural Surface Reconstruction in Endoscopy using Illumination Decline [45.49984459497878]
  単眼内視鏡で取得した画像から3次元再構成を行う手法を提案する。 第一に、内的空洞は水密であり、符号付き距離関数でモデル化することによって自然に強制される性質である。 第二に、シーンの照明は可変であり、それは内視鏡の光源から来ており、四角い距離と表面との逆転で崩壊する。
  論文  参考訳（メタデータ） (2023-09-06T06:41:40Z)
• A Novel Hybrid Endoscopic Dataset for Evaluating Machine Learning-based Photometric Image Enhancement Models [0.9236074230806579]
  本研究は, 生成逆数的手法により生成される新しい合成データ集合を導入する。 また、過度の露光および過度の露光条件において、浅いベースと深層学習に基づく画像強調法の両方を探索する。
  論文  参考訳（メタデータ） (2022-07-06T01:47:17Z)
• SelfTune: Metrically Scaled Monocular Depth Estimation through Self-Supervised Learning [53.78813049373321]
  本稿では,事前学習した教師付き単分子深度ネットワークに対する自己教師付き学習手法を提案する。 本手法は移動ロボットナビゲーションなどの様々な応用に有用であり,多様な環境に適用可能である。
  論文  参考訳（メタデータ） (2022-03-10T12:28:42Z)
• Adversarial Domain Feature Adaptation for Bronchoscopic Depth Estimation [111.89519571205778]
  そこで本研究では,深度推定のためのドメイン適応手法を提案する。 提案する2段階構造は,まず,ラベル付き合成画像を用いた深度推定ネットワークを教師付きで訓練する。 実験の結果,提案手法は実画像上でのネットワーク性能をかなりの差で向上させることがわかった。
  論文  参考訳（メタデータ） (2021-09-24T08:11:34Z)
• Self-Supervised Generative Adversarial Network for Depth Estimation in Laparoscopic Images [13.996932179049978]
  本稿では,ジェネレーティブ・ディバイサル・ネットワークに基づく自己教師型深度推定手法であるSADepthを提案する。 エンコーダデコーダジェネレータと、トレーニング中に幾何学的制約を組み込む識別器で構成される。 2つの公開データセットの実験により、SADepthは最新の最先端の教師なし手法よりも大きなマージンで優れていることが示された。
  論文  参考訳（メタデータ） (2021-07-09T19:40:20Z)
• CAMERAS: Enhanced Resolution And Sanity preserving Class Activation Mapping for image saliency [61.40511574314069]
  バックプロパゲーション画像のサリエンシは、入力中の個々のピクセルのモデル中心の重要性を推定することにより、モデル予測を説明することを目的としている。 CAMERASは、外部の事前処理を必要とせずに、高忠実度バックプロパゲーション・サリエンシ・マップを計算できる手法である。
  論文  参考訳（メタデータ） (2021-06-20T08:20:56Z)
• Calibrating Self-supervised Monocular Depth Estimation [77.77696851397539]
  近年、ニューラルネットワークが深度を学習し、画像のシーケンスに変化を起こさせる能力を示す方法は、訓練信号として自己スーパービジョンのみを使用している。 カメラの構成や環境に関する事前情報を取り入れることで,センサの追加に頼ることなく,自己教師型定式化を用いて,スケールのあいまいさを排除し,深度を直接予測できることを示す。
  論文  参考訳（メタデータ） (2020-09-16T14:35:45Z)
• Depth Completion Using a View-constrained Deep Prior [73.21559000917554]
  近年の研究では、畳み込みニューラルネットワーク(CNN)の構造が、自然画像に有利な強い先行性をもたらすことが示されている。 この前者はディープ・イメージ・先行 (DIP) と呼ばれ、画像の装飾や塗装といった逆問題において有効な正則化器である。 我々は、DIPの概念を深度画像に拡張し、色画像とノイズと不完全な目標深度マップから、CNNネットワーク構造を先行して復元された深度マップを再構成する。
  論文  参考訳（メタデータ） (2020-01-21T21:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。