論文の概要: Learnable Patchmatch and Self-Teaching for Multi-Frame Depth Estimation in Monocular Endoscopy

• arxiv url: http://arxiv.org/abs/2205.15034v2
• Date: Sat, 15 Feb 2025 11:03:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:04:47.791952
• Title: Learnable Patchmatch and Self-Teaching for Multi-Frame Depth Estimation in Monocular Endoscopy
• Title（参考訳）: 単眼内視鏡におけるマルチフレーム深度推定のための学習可能なパッチマッチと自己学習
• Authors: Shuwei Shao, Zhongcai Pei, Weihai Chen, Xingming Wu, Zhong Liu,
• Abstract要約: 教師なしマルチフレーム単眼深度推定モデルを提案する。 提案モデルでは、学習可能なパッチマッチモジュールを統合し、低次および均質なテクスチャを持つ領域における識別能力を適応的に向上させる。 自己学習パラダイムの副産物として,テスト時により多くのフレームが入力されたときの深度予測を改善することができる。
• 参考スコア（独自算出の注目度）: 16.233423010425355
• License:
• Abstract: This work delves into unsupervised monocular depth estimation in endoscopy, which leverages adjacent frames to establish a supervisory signal during the training phase. For many clinical applications, e.g., surgical navigation, temporally correlated frames are also available at test time. Due to the lack of depth clues, making full use of the temporal correlation among multiple video frames at both phases is crucial for accurate depth estimation. However, several challenges in endoscopic scenes, such as low and homogeneous textures and inter-frame brightness fluctuations, limit the performance gain from the temporal correlation. To fully exploit it, we propose a novel unsupervised multi-frame monocular depth estimation model. The proposed model integrates a learnable patchmatch module to adaptively increase the discriminative ability in regions with low and homogeneous textures, and enforces cross-teaching and self-teaching consistencies to provide efficacious regularizations towards brightness fluctuations. Furthermore, as a byproduct of the self-teaching paradigm, the proposed model is able to improve the depth predictions when more frames are input at test time. We conduct detailed experiments on multiple datasets, including SCARED, EndoSLAM, Hamlyn and SERV-CT. The experimental results indicate that our model exceeds the state-of-the-art competitors. The source code and trained models will be publicly available upon the acceptance.
• Abstract（参考訳）: この研究は、隣接するフレームを活用してトレーニングフェーズ中に監視信号を確立する、内視鏡における教師なし単眼深度推定に着目する。 多くの臨床応用、例えば、外科的ナビゲーション、時間的相関フレームもテスト時に利用可能である。 深度手がかりが欠如しているため、両位相の複数のビデオフレーム間の時間的相関をフル活用することは、正確な深度推定に不可欠である。 しかし,低次・均質なテクスチャやフレーム間輝度変動などの内視鏡的シーンにおけるいくつかの課題は,時間的相関による性能向上を制限している。 これをフル活用するために,新しい教師なしマルチフレーム単眼深度推定モデルを提案する。 提案モデルでは、学習可能なパッチマッチモジュールを統合し、低次・均一なテクスチャを持つ領域における識別能力を適応的に向上させ、相互学習と自己学習の相違を強制し、明るさ変動に対する効果的な正規化を提供する。 さらに、自己学習パラダイムの副産物として、テスト時により多くのフレームが入力されたときの深度予測を改善することができる。 SCARED、EndoSLAM、Hamlyn、SERV-CTなど、複数のデータセットに関する詳細な実験を行います。 実験結果から,本モデルが最先端の競争相手を上回ることが示唆された。 ソースコードとトレーニングされたモデルは、受理時に公開される。

関連論文リスト

• A Comprehensive Library for Benchmarking Multi-class Visual Anomaly Detection [52.228708947607636]
  本稿では,新しい手法のモジュラーフレームワークであるADerを包括的視覚異常検出ベンチマークとして紹介する。 このベンチマークには、産業ドメインと医療ドメインからの複数のデータセットが含まれており、15の最先端メソッドと9つの包括的なメトリクスを実装している。 我々は,異なる手法の長所と短所を客観的に明らかにし,多クラス視覚異常検出の課題と今後の方向性について考察する。
  論文  参考訳（メタデータ） (2024-06-05T13:40:07Z)
• OCAI: Improving Optical Flow Estimation by Occlusion and Consistency Aware Interpolation [55.676358801492114]
  本稿では,中間映像フレームと光フローを同時に生成することで,フレームのあいまいさを頑健に支援するOCAIを提案する。 我々は,Sintel や KITTI などの既存のベンチマークにおいて,優れた品質と光フロー精度を実証した。
  論文  参考訳（メタデータ） (2024-03-26T20:23:48Z)
• Self-STORM: Deep Unrolled Self-Supervised Learning for Super-Resolution Microscopy [55.2480439325792]
  我々は、シーケンス固有のモデルベースのオートエンコーダをトレーニングすることで、そのようなデータの必要性を軽減する、深層無学習の自己教師付き学習を導入する。 提案手法は, 監視対象の性能を超過する。
  論文  参考訳（メタデータ） (2024-03-25T17:40:32Z)
• Learning to Fuse Monocular and Multi-view Cues for Multi-frame Depth Estimation in Dynamic Scenes [51.20150148066458]
  一般化されたマスクを必要とせず,ボリュームとして符号化された多視点と単眼のキューを融合させる新しい手法を提案する。 実世界のデータセットを用いた実験は,提案手法の有効性と性能を実証する。
  論文  参考訳（メタデータ） (2023-04-18T13:55:24Z)
• Assessing Coarse-to-Fine Deep Learning Models for Optic Disc and Cup Segmentation in Fundus Images [0.0]
  粗い深層学習アルゴリズムは、底面画像の鉛直カップ・トゥ・ディスク比(vCDR)を効率的に測定するために用いられる。 5つの公開データベースを用いたOD/OCセグメンテーションのための粗粒度設計の包括的解析を行う。 分析の結果,これらのアルゴリズムは必ずしも標準のマルチクラスシングルステージモデルより優れているとは限らないことがわかった。
  論文  参考訳（メタデータ） (2022-09-28T19:19:16Z)
• Anomaly Detection in Retinal Images using Multi-Scale Deep Feature Sparse Coding [30.097208168480826]
  本稿では,網膜画像の異常検出のための教師なしアプローチを導入し,この問題を克服する。 我々は,Eye-Q,IDRiD,OCTIDデータセット上での最先端のSPADEに対して,AUCスコアが7.8%,6.7%,12.1%向上した。
  論文  参考訳（メタデータ） (2022-01-27T13:36:22Z)
• Self-Supervised Monocular Depth and Ego-Motion Estimation in Endoscopy: Appearance Flow to the Rescue [38.168759071532676]
  単眼ビデオから深度とエゴモーションを計算するために,自己教師付き学習技術が応用されている。 本研究では,明るさの不整合問題に対処するため,外観フローと呼ばれる新しい概念を導入する。 我々は,単眼深度と自我運動を同時に推定する統合的な自己監督フレームワークを構築した。
  論文  参考訳（メタデータ） (2021-12-15T13:51:10Z)
• Incremental Cross-Domain Adaptation for Robust Retinopathy Screening via Bayesian Deep Learning [7.535751594024775]
  網膜症は、タイムリーに治療されないと、深刻な視覚障害や失明を引き起こす網膜疾患のグループである。 本稿では, 深い分類モデルを用いて, 異常網膜病理を段階的に学習することのできる, 漸進的なクロスドメイン適応手法を提案する。 提案したフレームワークは、6つの公開データセットで評価され、全体的な精度とF1スコアをそれぞれ0.9826と0.9846で達成することで、最先端の競合他社を上回っている。
  論文  参考訳（メタデータ） (2021-10-18T13:45:21Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Unsupervised Monocular Depth Learning with Integrated Intrinsics and Spatio-Temporal Constraints [61.46323213702369]
  本研究は,大規模深度マップとエゴモーションを予測可能な教師なし学習フレームワークを提案する。 本結果は,KITTI運転データセットの複数シーケンスにおける現在の最先端技術と比較して,高い性能を示す。
  論文  参考訳（メタデータ） (2020-11-02T22:26:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。