論文の概要: SHADeS: Self-supervised Monocular Depth Estimation Through Non-Lambertian Image Decomposition
- arxiv url: http://arxiv.org/abs/2502.12994v1
- Date: Tue, 18 Feb 2025 16:15:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-19 14:06:53.770109
- Title: SHADeS: Self-supervised Monocular Depth Estimation Through Non-Lambertian Image Decomposition
- Title（参考訳）: SHADeS:非ランベルト画像分解による自己教師型単分子深度推定
- Authors: Rema Daher, Francisco Vasconcelos, Danail Stoyanov,
- Abstract要約: 視覚的な3Dシーン再構成は、大腸内視鏡ナビゲーションをサポートする。
大腸のどの部分が可視化されたかを認識し、ポリープのサイズと形状を特徴付けるのに役立つ。
この問題における光と深度を効果的に分離する方法を検討する。
- 参考スコア（独自算出の注目度）: 11.547020496390314
- License:
- Abstract: Purpose: Visual 3D scene reconstruction can support colonoscopy navigation. It can help in recognising which portions of the colon have been visualised and characterising the size and shape of polyps. This is still a very challenging problem due to complex illumination variations, including abundant specular reflections. We investigate how to effectively decouple light and depth in this problem. Methods: We introduce a self-supervised model that simultaneously characterises the shape and lighting of the visualised colonoscopy scene. Our model estimates shading, albedo, depth, and specularities (SHADeS) from single images. Unlike previous approaches (IID), we use a non-Lambertian model that treats specular reflections as a separate light component. The implementation of our method is available at https://github.com/RemaDaher/SHADeS. Results: We demonstrate on real colonoscopy images (Hyper Kvasir) that previous models for light decomposition (IID) and depth estimation (MonoVIT, ModoDepth2) are negatively affected by specularities. In contrast, SHADeS can simultaneously produce light decomposition and depth maps that are robust to specular regions. We also perform a quantitative comparison on phantom data (C3VD) where we further demonstrate the robustness of our model. Conclusion: Modelling specular reflections improves depth estimation in colonoscopy. We propose an effective self-supervised approach that uses this insight to jointly estimate light decomposition and depth. Light decomposition has the potential to help with other problems, such as place recognition within the colon.
- Abstract（参考訳）: 目的:視覚的な3Dシーン再構成は大腸内視鏡ナビゲーションをサポートする。
大腸のどの部分が可視化されたかを認識し、ポリープのサイズと形状を特徴付けるのに役立つ。
これは、豊富なスペクトル反射を含む複雑な照明のバリエーションのため、依然として非常に難しい問題である。
この問題における光と深度を効果的に分離する方法を検討する。
方法: 視覚的大腸内視鏡シーンの形状と照明を同時に特徴付ける自己監督型モデルを提案する。
我々のモデルは、単一の画像からシェーディング、アルベド、ディープ、スペキュラリティ(SHADeS)を推定する。
従来のアプローチ(IID)とは異なり、スペクトル反射を別個の光成分として扱う非ランベルトモデルを用いる。
私たちのメソッドの実装はhttps://github.com/RemaDaher/SHADeS.comで公開されています。
結果: 従来の光分解モデル (IID) と深度推定モデル (MonoVIT, ModoDepth2) が特異性に負の影響を受けていることを示す。
対照的に、SHADeSは、スペクトル領域に対して堅牢な光分解と深度マップを同時に生成することができる。
また、ファントムデータ(C3VD)の定量的比較を行い、モデルの堅牢性をさらに実証する。
結語: 鏡像反射のモデル化は大腸内視鏡の深さ推定を改善する。
この知見を用いて光分解と深度を共同で推定する効果的な自己教師型手法を提案する。
光分解は、結腸内の位置認識などの他の問題に役立つ可能性がある。
関連論文リスト
- ToDER: Towards Colonoscopy Depth Estimation and Reconstruction with Geometry Constraint Adaptation [67.22294293695255]
そこで本稿では,ToDERという双方向適応アーキテクチャを用いて,高精度な深度推定を行う新しいパイプラインを提案する。
以上の結果から,本手法は実写および合成大腸内視鏡ビデオの深度マップを精度良く予測できることが示唆された。
論文 参考訳（メタデータ） (2024-07-23T14:24:26Z) - Uncertainty and Self-Supervision in Single-View Depth [0.8158530638728501]
シングルビューの深さ推定は、単一のビューから3次元幾何学を説明する複数の解が存在するため、不適切な問題である。
ディープニューラルネットワークは単一の視点から深度を捉えるのに有効であることが示されているが、現在の方法論の大半は本質的に決定論的である。
我々はベイジアンディープニューラルネットワークにおける教師付き単一視点深度の不確かさを定量化することでこの問題に対処した。
論文 参考訳（メタデータ） (2024-06-20T11:46:17Z) - Leveraging Near-Field Lighting for Monocular Depth Estimation from Endoscopy Videos [12.497782583094281]
内視鏡ビデオにおける単眼深度推定は、補助手術やロボット手術により、臓器のより良いカバレッジと様々な健康問題の検出が可能になる。
主流の自然画像深度推定では有望な進歩があったが、内視鏡画像では技術が不十分であった。
本稿では, 内視鏡から放射される光を表面から反射する光学的手がかりを用いて, 単分子深度推定を改善する。
論文 参考訳（メタデータ） (2024-03-26T17:52:23Z) - SoftEnNet: Symbiotic Monocular Depth Estimation and Lumen Segmentation
for Colonoscopy Endorobots [2.9696400288366127]
大腸癌は世界で3番目に多いがん死の原因である。
視覚ベースの自律型内視鏡は大腸内視鏡の手順を大幅に改善することができる。
論文 参考訳（メタデータ） (2023-01-19T16:22:17Z) - SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for
Dynamic Scenes [58.89295356901823]
自己監督型単眼深度推定は静的な場面で顕著な結果を示した。
トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。
単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。
我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
論文 参考訳（メタデータ） (2022-11-07T16:17:47Z) - Towards Accurate Reconstruction of 3D Scene Shape from A Single
Monocular Image [91.71077190961688]
まず、未知のスケールまで深さを予測し、単一の単眼画像からシフトする2段階のフレームワークを提案する。
次に、3Dポイントの雲のデータを利用して、奥行きの変化とカメラの焦点距離を予測し、3Dシーンの形状を復元します。
我々は9つの未知のデータセットで深度モデルを検証し、ゼロショット評価で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-08-28T16:20:14Z) - C$^3$Fusion: Consistent Contrastive Colon Fusion, Towards Deep SLAM in
Colonoscopy [0.0]
光内視鏡(OC)による3D大腸再建による非検査面の検出は未解決の問題である。
近年の手法では,(1)フレーム・ツー・フレーム(あるいはフレーム・ツー・モデル)の予測が多くのトラッキング障害を引き起こし,(2)スキャン品質を犠牲にしてポイントベース表現に頼っている。
本稿では,これらの課題を終末まで解決し,定量的かつ定性的かつ堅牢な3次元大腸再建を実現するための新しい再構築フレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-04T10:38:19Z) - ColDE: A Depth Estimation Framework for Colonoscopy Reconstruction [27.793186578742088]
本研究では,大腸内視鏡データの特別な課題に対処するために,一連のトレーニング損失を設計した。
ColDEという名前の自己監督型フレームワークは、十分なトレーニング損失を伴って、大腸内視鏡データのより詳細なマップを生成することができる。
論文 参考訳（メタデータ） (2021-11-19T04:44:27Z) - CAMERAS: Enhanced Resolution And Sanity preserving Class Activation
Mapping for image saliency [61.40511574314069]
バックプロパゲーション画像のサリエンシは、入力中の個々のピクセルのモデル中心の重要性を推定することにより、モデル予測を説明することを目的としている。
CAMERASは、外部の事前処理を必要とせずに、高忠実度バックプロパゲーション・サリエンシ・マップを計算できる手法である。
論文 参考訳（メタデータ） (2021-06-20T08:20:56Z) - Unsupervised Monocular Depth Reconstruction of Non-Rigid Scenes [87.91841050957714]
本稿では,ダイナミックシーンの深度推定のための非監視単眼フレームワークを提案する。
再構成した3次元点間の対数距離を日和見的に保存することを目的とした訓練目標を導出する。
提案手法は,非剛性シーンの挑戦的な映像から3Dを再構成する能力を実証し,有望な結果を提供する。
論文 参考訳（メタデータ） (2020-12-31T16:02:03Z) - Relighting Images in the Wild with a Self-Supervised Siamese
Auto-Encoder [62.580345486483886]
本研究では,野生の単一ビュー画像の自己教師付きリライティング手法を提案する。
この方法は、イメージを2つの別々のエンコーディングに分解するオートエンコーダに基づいている。
Youtube 8MやCelebAなどの大規模データセットでモデルをトレーニングします。
論文 参考訳（メタデータ） (2020-12-11T16:08:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。