論文の概要: MetaFE-DE: Learning Meta Feature Embedding for Depth Estimation from Monocular Endoscopic Images

• arxiv url: http://arxiv.org/abs/2502.03493v1
• Date: Wed, 05 Feb 2025 02:52:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:31:41.580960
• Title: MetaFE-DE: Learning Meta Feature Embedding for Depth Estimation from Monocular Endoscopic Images
• Title（参考訳）: MetaFE-DE:単眼内視鏡画像からの深度推定のためのメタ特徴埋め込み学習
• Authors: Dawei Lu, Deqiang Xiao, Danni Ai, Jingfan Fan, Tianyu Fu, Yucong Lin, Hong Song, Xujiong Ye, Lei Zhang, Jian Yang,
• Abstract要約: 既存の手法ではRGB画像から直接深度情報を推定する。 メタ機能埋め込み(MetaFE)と呼ばれる新しい概念を紹介する。 本稿では,分子内深度推定のための2段階の自己教師型学習パラダイムを提案する。
• 参考スコア（独自算出の注目度）: 18.023231290573268
• License:
• Abstract: Depth estimation from monocular endoscopic images presents significant challenges due to the complexity of endoscopic surgery, such as irregular shapes of human soft tissues, as well as variations in lighting conditions. Existing methods primarily estimate the depth information from RGB images directly, and often surffer the limited interpretability and accuracy. Given that RGB and depth images are two views of the same endoscopic surgery scene, in this paper, we introduce a novel concept referred as ``meta feature embedding (MetaFE)", in which the physical entities (e.g., tissues and surgical instruments) of endoscopic surgery are represented using the shared features that can be alternatively decoded into RGB or depth image. With this concept, we propose a two-stage self-supervised learning paradigm for the monocular endoscopic depth estimation. In the first stage, we propose a temporal representation learner using diffusion models, which are aligned with the spatial information through the cross normalization to construct the MetaFE. In the second stage, self-supervised monocular depth estimation with the brightness calibration is applied to decode the meta features into the depth image. Extensive evaluation on diverse endoscopic datasets demonstrates that our approach outperforms the state-of-the-art method in depth estimation, achieving superior accuracy and generalization. The source code will be publicly available.
• Abstract（参考訳）: 単眼内視鏡画像からの深度推定は、ヒト軟組織の不規則な形状や照明条件の変化など、内視鏡手術の複雑さによる重要な課題である。 既存の手法は主にRGB画像から直接深度情報を推定し、しばしば限定的な解釈可能性と精度をサーベイする。 RGBと深度画像が同一の内視鏡手術シーンの2つのビューであることを踏まえ、本論文では、内視鏡手術の物理的実体(例えば、組織や手術器具)を、RGBまたは深度画像に代えて復号可能な共有特徴を用いて表現する「メタ機能埋め込み(MetaFE)」と呼ばれる新しい概念を紹介する。 そこで本研究では,分子内深度推定のための2段階の自己教師型学習パラダイムを提案する。 第1段階では,拡散モデルを用いた時間的表現学習者を提案する。 第2段階では、明度校正による自己教師付き単眼深度推定を適用し、メタ特徴を深度画像にデコードする。 多様な内視鏡的データセットに対する広範囲な評価により,本手法は深度推定における最先端の手法よりも優れ,精度と一般化が優れていることが示された。 ソースコードは公開されます。

関連論文リスト

• EndoDepth: A Benchmark for Assessing Robustness in Endoscopic Depth Prediction [1.7243216387069678]
  本研究では,単眼深度予測モデルのロバスト性を評価するための評価フレームワークであるEndoDepthベンチマークを提案する。 本稿では,内視鏡的シナリオにおけるモデルの堅牢性を評価するために,一貫した,特に設計された評価手法を提案する。
  論文  参考訳（メタデータ） (2024-09-30T04:18:14Z)
• Advancing Depth Anything Model for Unsupervised Monocular Depth Estimation in Endoscopy [3.1186464715409983]
  本稿では,Depth Anything Modelのための新しい微調整戦略を提案する。 本手法は本態性に基づく教師なし単眼深度推定フレームワークと統合する。 SCAREDデータセットで得られた結果は,本手法が最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-09-12T03:04:43Z)
• ScaleDepth: Decomposing Metric Depth Estimation into Scale Prediction and Relative Depth Estimation [62.600382533322325]
  本研究では,新しい単分子深度推定法であるScaleDepthを提案する。 提案手法は,距離深度をシーンスケールと相対深度に分解し,セマンティック・アウェア・スケール予測モジュールを用いて予測する。 本手法は,室内と屋外の両方のシーンを統一した枠組みで距離推定する。
  論文  参考訳（メタデータ） (2024-07-11T05:11:56Z)
• Leveraging Near-Field Lighting for Monocular Depth Estimation from Endoscopy Videos [12.497782583094281]
  内視鏡ビデオにおける単眼深度推定は、補助手術やロボット手術により、臓器のより良いカバレッジと様々な健康問題の検出が可能になる。 主流の自然画像深度推定では有望な進歩があったが、内視鏡画像では技術が不十分であった。 本稿では, 内視鏡から放射される光を表面から反射する光学的手がかりを用いて, 単分子深度推定を改善する。
  論文  参考訳（メタデータ） (2024-03-26T17:52:23Z)
• K-Space-Aware Cross-Modality Score for Synthesized Neuroimage Quality Assessment [71.27193056354741]
  クロスモダリティな医用画像合成をどう評価するかという問題は、ほとんど解明されていない。 本稿では,この課題の進展を促すため,新しい指標K-CROSSを提案する。 K-CROSSは、トレーニング済みのマルチモードセグメンテーションネットワークを使用して、病変の位置を予測する。
  論文  参考訳（メタデータ） (2023-07-10T01:26:48Z)
• Affinity Feature Strengthening for Accurate, Complete and Robust Vessel Segmentation [48.638327652506284]
  血管セグメンテーションは、冠動脈狭窄、網膜血管疾患、脳動脈瘤などの多くの医学的応用において重要である。 コントラストに敏感なマルチスケールアフィニティアプローチを用いて,幾何学的手法と画素単位のセグメンテーション特徴を連成的にモデル化する新しいアプローチであるAFNを提案する。
  論文  参考訳（メタデータ） (2022-11-12T05:39:17Z)
• A Novel Hybrid Endoscopic Dataset for Evaluating Machine Learning-based Photometric Image Enhancement Models [0.9236074230806579]
  本研究は, 生成逆数的手法により生成される新しい合成データ集合を導入する。 また、過度の露光および過度の露光条件において、浅いベースと深層学習に基づく画像強調法の両方を探索する。
  論文  参考訳（メタデータ） (2022-07-06T01:47:17Z)
• S2R-DepthNet: Learning a Generalizable Depth-specific Structural Representation [63.58891781246175]
  人間はリアルなイメージではなくスケッチからシーンの3次元幾何学を推測することができ、空間構造がシーンの深さを理解する上で基本的な役割を果たすことを示す。 我々は,深度推定に不可欠な特徴を捉え,無関係なスタイル情報を無視する,深度特異的な構造表現の学習を初めて行う。 当社のS2R-DepthNetは、合成データでのみ訓練されているにもかかわらず、目に見えない実際のデータに直接一般化できます。
  論文  参考訳（メタデータ） (2021-04-02T03:55:41Z)
• Calibrating Self-supervised Monocular Depth Estimation [77.77696851397539]
  近年、ニューラルネットワークが深度を学習し、画像のシーケンスに変化を起こさせる能力を示す方法は、訓練信号として自己スーパービジョンのみを使用している。 カメラの構成や環境に関する事前情報を取り入れることで,センサの追加に頼ることなく,自己教師型定式化を用いて,スケールのあいまいさを排除し,深度を直接予測できることを示す。
  論文  参考訳（メタデータ） (2020-09-16T14:35:45Z)
• Single-shot Hyperspectral-Depth Imaging with Learned Diffractive Optics [72.9038524082252]
  単発単眼単眼ハイパースペクトル(HS-D)イメージング法を提案する。 本手法では, 回折光学素子 (DOE) を用いる。 DOE の学習を容易にするため,ベンチトップ HS-D イメージラーを構築することで,最初の HS-D データセットを提案する。
  論文  参考訳（メタデータ） (2020-09-01T14:19:35Z)
• Monocular Retinal Depth Estimation and Joint Optic Disc and Cup Segmentation using Adversarial Networks [18.188041599999547]
  本稿では,1つの画像から深度マップを予測するために,対角ネットワークを用いた新しい手法を提案する。 5倍のクロスバリデーションで0.92の非常に高い平均相関係数を得る。 次に,光ディスクとカップセグメンテーションのプロキシタスクとして深度推定プロセスを利用する。
  論文  参考訳（メタデータ） (2020-07-15T06:21:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。