論文の概要: SHADeS: Self-supervised Monocular Depth Estimation Through Non-Lambertian Image Decomposition
- arxiv url: http://arxiv.org/abs/2502.12994v1
- Date: Tue, 18 Feb 2025 16:15:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-19 20:12:09.061213
- Title: SHADeS: Self-supervised Monocular Depth Estimation Through Non-Lambertian Image Decomposition
- Title（参考訳）: SHADeS:非ランベルト画像分解による自己教師型単分子深度推定
- Authors: Rema Daher, Francisco Vasconcelos, Danail Stoyanov,
- Abstract要約: 視覚的な3Dシーン再構成は、大腸内視鏡ナビゲーションをサポートする。
大腸のどの部分が可視化されたかを認識し、ポリープのサイズと形状を特徴付けるのに役立つ。
この問題における光と深度を効果的に分離する方法を検討する。
- 参考スコア（独自算出の注目度）: 11.547020496390314
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Purpose: Visual 3D scene reconstruction can support colonoscopy navigation. It can help in recognising which portions of the colon have been visualised and characterising the size and shape of polyps. This is still a very challenging problem due to complex illumination variations, including abundant specular reflections. We investigate how to effectively decouple light and depth in this problem. Methods: We introduce a self-supervised model that simultaneously characterises the shape and lighting of the visualised colonoscopy scene. Our model estimates shading, albedo, depth, and specularities (SHADeS) from single images. Unlike previous approaches (IID), we use a non-Lambertian model that treats specular reflections as a separate light component. The implementation of our method is available at https://github.com/RemaDaher/SHADeS. Results: We demonstrate on real colonoscopy images (Hyper Kvasir) that previous models for light decomposition (IID) and depth estimation (MonoVIT, ModoDepth2) are negatively affected by specularities. In contrast, SHADeS can simultaneously produce light decomposition and depth maps that are robust to specular regions. We also perform a quantitative comparison on phantom data (C3VD) where we further demonstrate the robustness of our model. Conclusion: Modelling specular reflections improves depth estimation in colonoscopy. We propose an effective self-supervised approach that uses this insight to jointly estimate light decomposition and depth. Light decomposition has the potential to help with other problems, such as place recognition within the colon.
- Abstract（参考訳）: 目的:視覚的な3Dシーン再構成は大腸内視鏡ナビゲーションをサポートする。
大腸のどの部分が可視化されたかを認識し、ポリープのサイズと形状を特徴付けるのに役立つ。
これは、豊富なスペクトル反射を含む複雑な照明のバリエーションのため、依然として非常に難しい問題である。
この問題における光と深度を効果的に分離する方法を検討する。
方法: 視覚的大腸内視鏡シーンの形状と照明を同時に特徴付ける自己監督型モデルを提案する。
我々のモデルは、単一の画像からシェーディング、アルベド、ディープ、スペキュラリティ(SHADeS)を推定する。
従来のアプローチ(IID)とは異なり、スペクトル反射を別個の光成分として扱う非ランベルトモデルを用いる。
私たちのメソッドの実装はhttps://github.com/RemaDaher/SHADeS.comで公開されています。
結果: 従来の光分解モデル (IID) と深度推定モデル (MonoVIT, ModoDepth2) が特異性に負の影響を受けていることを示す。
対照的に、SHADeSは、スペクトル領域に対して堅牢な光分解と深度マップを同時に生成することができる。
また、ファントムデータ(C3VD)の定量的比較を行い、モデルの堅牢性をさらに実証する。
結語: 鏡像反射のモデル化は大腸内視鏡の深さ推定を改善する。
この知見を用いて光分解と深度を共同で推定する効果的な自己教師型手法を提案する。
光分解は、結腸内の位置認識などの他の問題に役立つ可能性がある。
関連論文リスト
- Occlusion-Aware Self-Supervised Monocular Depth Estimation for Weak-Texture Endoscopic Images [1.1084686909647639]
内視鏡的シーンに適した自己教師付き単眼深度推定ネットワークを提案する。
既存の方法は正確ではあるが、通常は一貫した照明を仮定する。
これらの変化は、誤った幾何学的解釈と信頼できない自己監督信号をもたらす。
論文 参考訳（メタデータ） (2025-04-24T14:12:57Z) - Decompositional Neural Scene Reconstruction with Generative Diffusion Prior [64.71091831762214]
完全な形状と詳細なテクスチャを持つ3次元シーンの分解的再構成は、下流の応用に興味深い。
近年のアプローチでは、この問題に対処するために意味的あるいは幾何学的正則化が取り入れられているが、制約の少ない領域では著しく劣化している。
本稿では,SDS(Score Distillation Sampling)の形で拡散先行値を用いたDP-Reconを提案し,新しい視点下で個々の物体の神経表現を最適化する。
論文 参考訳（メタデータ） (2025-03-19T02:11:31Z) - DepthLab: From Partial to Complete [80.58276388743306]
不足する値は、幅広いアプリケーションにわたる深度データにとって共通の課題である。
この作業は、イメージ拡散プリエントを利用した基礎深度塗装モデルであるDepthLabと、このギャップを埋めるものだ。
提案手法は,3Dシーンのインペイント,テキストから3Dシーン生成,DUST3Rによるスパースビュー再構成,LiDAR深度補完など,様々なダウンストリームタスクにおいて有用であることを示す。
論文 参考訳（メタデータ） (2024-12-24T04:16:38Z) - A Simple yet Effective Test-Time Adaptation for Zero-Shot Monocular Metric Depth Estimation [46.037640130193566]
センサや低分解能LiDARなどの技術によって提供される3Dポイントや、IMUが提示したポーズによる構造移動を用いて、奥行きの予測を再現する新しい手法を提案する。
実験では, ゼロショット単角距離推定法, 微調整法と比較しての競合性, 深度補修法よりも頑健さが向上した。
論文 参考訳（メタデータ） (2024-12-18T17:50:15Z) - ToDER: Towards Colonoscopy Depth Estimation and Reconstruction with Geometry Constraint Adaptation [67.22294293695255]
そこで本稿では,ToDERという双方向適応アーキテクチャを用いて,高精度な深度推定を行う新しいパイプラインを提案する。
以上の結果から,本手法は実写および合成大腸内視鏡ビデオの深度マップを精度良く予測できることが示唆された。
論文 参考訳（メタデータ） (2024-07-23T14:24:26Z) - Leveraging Near-Field Lighting for Monocular Depth Estimation from Endoscopy Videos [12.497782583094281]
内視鏡ビデオにおける単眼深度推定は、補助手術やロボット手術により、臓器のより良いカバレッジと様々な健康問題の検出が可能になる。
主流の自然画像深度推定では有望な進歩があったが、内視鏡画像では技術が不十分であった。
本稿では, 内視鏡から放射される光を表面から反射する光学的手がかりを用いて, 単分子深度推定を改善する。
論文 参考訳（メタデータ） (2024-03-26T17:52:23Z) - SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for
Dynamic Scenes [58.89295356901823]
自己監督型単眼深度推定は静的な場面で顕著な結果を示した。
トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。
単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。
我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
論文 参考訳（メタデータ） (2022-11-07T16:17:47Z) - Towards Accurate Reconstruction of 3D Scene Shape from A Single
Monocular Image [91.71077190961688]
まず、未知のスケールまで深さを予測し、単一の単眼画像からシフトする2段階のフレームワークを提案する。
次に、3Dポイントの雲のデータを利用して、奥行きの変化とカメラの焦点距離を予測し、3Dシーンの形状を復元します。
我々は9つの未知のデータセットで深度モデルを検証し、ゼロショット評価で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-08-28T16:20:14Z) - C$^3$Fusion: Consistent Contrastive Colon Fusion, Towards Deep SLAM in
Colonoscopy [0.0]
光内視鏡(OC)による3D大腸再建による非検査面の検出は未解決の問題である。
近年の手法では,(1)フレーム・ツー・フレーム(あるいはフレーム・ツー・モデル)の予測が多くのトラッキング障害を引き起こし,(2)スキャン品質を犠牲にしてポイントベース表現に頼っている。
本稿では,これらの課題を終末まで解決し,定量的かつ定性的かつ堅牢な3次元大腸再建を実現するための新しい再構築フレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-04T10:38:19Z) - ColDE: A Depth Estimation Framework for Colonoscopy Reconstruction [27.793186578742088]
本研究では,大腸内視鏡データの特別な課題に対処するために,一連のトレーニング損失を設計した。
ColDEという名前の自己監督型フレームワークは、十分なトレーニング損失を伴って、大腸内視鏡データのより詳細なマップを生成することができる。
論文 参考訳（メタデータ） (2021-11-19T04:44:27Z) - Unsupervised Monocular Depth Reconstruction of Non-Rigid Scenes [87.91841050957714]
本稿では,ダイナミックシーンの深度推定のための非監視単眼フレームワークを提案する。
再構成した3次元点間の対数距離を日和見的に保存することを目的とした訓練目標を導出する。
提案手法は,非剛性シーンの挑戦的な映像から3Dを再構成する能力を実証し,有望な結果を提供する。
論文 参考訳（メタデータ） (2020-12-31T16:02:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。