論文の概要: EndoGeDE: Generalizable Monocular Depth Estimation with Mixture of Low-Rank Experts for Diverse Endoscopic Scenes
- arxiv url: http://arxiv.org/abs/2509.01206v2
- Date: Sun, 14 Sep 2025 02:35:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-16 15:23:16.395746
- Title: EndoGeDE: Generalizable Monocular Depth Estimation with Mixture of Low-Rank Experts for Diverse Endoscopic Scenes
- Title(参考訳): EndoGeDE : 異所性内視鏡シーンに対する低ランクエキスパートの混合による全身単眼深度推定
- Authors: Liangjing Shao, Benshuang Chen, Chenkang Du, Xueli Liu, Xinrong Chen,
- Abstract要約: 自己監督型単眼深度推定は内視鏡における低コストで効率的な3次元シーン認識のための重要な課題である。
本研究では多彩な内視鏡における単分子深度推定のための自己監督型フレームワークを提案する。
提案手法はSCAREDデータセットとSimColデータセットの最先端処理よりも優れている。
- 参考スコア(独自算出の注目度): 3.9727779638306484
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Self-supervised monocular depth estimation is a significant task for low-cost and efficient 3D scene perception in endoscopy. In recent years, a series of methods are proposed to address the illumination inconsistency, while certain works also focus on the generalization of the model by efficiently finetuning the foundation models. However, the variety of illumination conditions and scene features is still the primary challenges for depth estimation in endoscopic scenes. In this work, a self-supervised framework is proposed for monocular depth estimation in diverse endoscopy. Firstly, considering the diverse features in endoscopic scenes with different tissues, a novel block-wise mixture of dynamic low-rank experts is proposed to efficiently finetune the foundation model for endoscopic depth estimation. In the proposed module, based on the input feature, different experts with a small amount of trainable parameters are adaptively selected for weighted inference, from low-rank experts which are allocated based on the generalization of each block. Moreover, a novel self-supervised training framework is proposed to jointly cope with brightness inconsistency and reflectance interference. The proposed method outperforms state-of-the-art works on SCARED dataset and SimCol dataset. Furthermore, the proposed network also achieves the best generalization based on zero-shot depth estimation on C3VD, Hamlyn and SERV-CT dataset. The outstanding performance of our model is further demonstrated with 3D reconstruction and ego-motion estimation. The proposed method could contribute to accurate endoscopy for minimally invasive measurement and surgery. The evaluation codes will be released upon acceptance, while the demo videos can be found on: https://endo-gede.netlify.app/.
- Abstract(参考訳): 自己監督型単眼深度推定は内視鏡における低コストで効率的な3次元シーン認識のための重要な課題である。
近年,照明の不整合に対処する一連の手法が提案されている一方で,基礎モデルを効率的に微調整することでモデルの一般化にも焦点が当てられている。
しかし, 様々な照明条件やシーンの特徴が, 内視鏡的シーンにおける奥行き推定の主要な課題である。
本研究では多彩な内視鏡における単分子深度推定のための自己監督型フレームワークを提案する。
まず, 異なる組織を有する内視鏡シーンの多様な特徴を考慮すると, 動的低ランクの専門家によるブロックワイドな混合が提案され, 内視鏡深度推定の基礎モデルを効率的に微調整する。
提案モジュールは,入力特徴に基づいて,各ブロックの一般化に基づいて割り当てられる低ランクの専門家から,少量のトレーニング可能なパラメータを持つ専門家を適応的に重み付き推論に選択する。
さらに、輝度不整合と反射干渉に共同で対処するために、新しい自己指導型トレーニングフレームワークを提案する。
提案手法はSCAREDデータセットとSimColデータセットの最先端処理よりも優れている。
さらに,提案ネットワークは,C3VD, Hamlyn, SERV-CTデータセットのゼロショット深度推定に基づく最適な一般化も達成している。
さらに3次元再構成とエゴモーション推定により,本モデルの優れた性能を実証した。
提案手法は, 最小侵襲計測および手術において, 正確な内視鏡検査に寄与する可能性が示唆された。
評価コードは受理時にリリースされ、デモビデオは以下の通りである。
関連論文リスト
- Multi-view Reconstruction via SfM-guided Monocular Depth Estimation [92.89227629434316]
マルチビュー幾何再構成のための新しい手法を提案する。
深度推定プロセスに、より強力なマルチビューであるSfM情報を組み込む。
本手法は, 従来の単分子深度推定法と比較して, 深度推定の精度を著しく向上させる。
論文 参考訳(メタデータ) (2025-03-18T17:54:06Z) - EndoDepth: A Benchmark for Assessing Robustness in Endoscopic Depth Prediction [1.7243216387069678]
本研究では,単眼深度予測モデルのロバスト性を評価するための評価フレームワークであるEndoDepthベンチマークを提案する。
本稿では,内視鏡的シナリオにおけるモデルの堅牢性を評価するために,一貫した,特に設計された評価手法を提案する。
論文 参考訳(メタデータ) (2024-09-30T04:18:14Z) - Advancing Depth Anything Model for Unsupervised Monocular Depth Estimation in Endoscopy [2.906891207990726]
本稿では,Depth Anything Modelのための新しい微調整戦略を提案する。
本手法は本態性に基づく教師なし単眼深度推定フレームワークと統合する。
提案手法は,トレーニング可能なパラメータ数を最小化しつつ,最先端性能を実現する。
論文 参考訳(メタデータ) (2024-09-12T03:04:43Z) - ToDER: Towards Colonoscopy Depth Estimation and Reconstruction with Geometry Constraint Adaptation [67.22294293695255]
そこで本稿では,ToDERという双方向適応アーキテクチャを用いて,高精度な深度推定を行う新しいパイプラインを提案する。
以上の結果から,本手法は実写および合成大腸内視鏡ビデオの深度マップを精度良く予測できることが示唆された。
論文 参考訳(メタデータ) (2024-07-23T14:24:26Z) - ScaleDepth: Decomposing Metric Depth Estimation into Scale Prediction and Relative Depth Estimation [62.600382533322325]
本研究では,新しい単分子深度推定法であるScaleDepthを提案する。
提案手法は,距離深度をシーンスケールと相対深度に分解し,セマンティック・アウェア・スケール予測モジュールを用いて予測する。
本手法は,室内と屋外の両方のシーンを統一した枠組みで距離推定する。
論文 参考訳(メタデータ) (2024-07-11T05:11:56Z) - Learnable Patchmatch and Self-Teaching for Multi-Frame Depth Estimation in Monocular Endoscopy [16.233423010425355]
教師なしマルチフレーム単眼深度推定モデルを提案する。
提案モデルでは、学習可能なパッチマッチモジュールを統合し、低次および均質なテクスチャを持つ領域における識別能力を適応的に向上させる。
自己学習パラダイムの副産物として,テスト時により多くのフレームが入力されたときの深度予測を改善することができる。
論文 参考訳(メタデータ) (2022-05-30T12:11:03Z) - SelfTune: Metrically Scaled Monocular Depth Estimation through
Self-Supervised Learning [53.78813049373321]
本稿では,事前学習した教師付き単分子深度ネットワークに対する自己教師付き学習手法を提案する。
本手法は移動ロボットナビゲーションなどの様々な応用に有用であり,多様な環境に適用可能である。
論文 参考訳(メタデータ) (2022-03-10T12:28:42Z) - Adversarial Domain Feature Adaptation for Bronchoscopic Depth Estimation [111.89519571205778]
そこで本研究では,深度推定のためのドメイン適応手法を提案する。
提案する2段階構造は,まず,ラベル付き合成画像を用いた深度推定ネットワークを教師付きで訓練する。
実験の結果,提案手法は実画像上でのネットワーク性能をかなりの差で向上させることがわかった。
論文 参考訳(メタデータ) (2021-09-24T08:11:34Z) - Calibrating Self-supervised Monocular Depth Estimation [77.77696851397539]
近年、ニューラルネットワークが深度を学習し、画像のシーケンスに変化を起こさせる能力を示す方法は、訓練信号として自己スーパービジョンのみを使用している。
カメラの構成や環境に関する事前情報を取り入れることで,センサの追加に頼ることなく,自己教師型定式化を用いて,スケールのあいまいさを排除し,深度を直接予測できることを示す。
論文 参考訳(メタデータ) (2020-09-16T14:35:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。