論文の概要: DARES: Depth Anything in Robotic Endoscopic Surgery with Self-supervised Vector-LoRA of the Foundation Model
- arxiv url: http://arxiv.org/abs/2408.17433v1
- Date: Fri, 30 Aug 2024 17:35:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-02 14:36:36.939339
- Title: DARES: Depth Anything in Robotic Endoscopic Surgery with Self-supervised Vector-LoRA of the Foundation Model
- Title（参考訳）: DARES:基礎モデルの自己監督型ベクトルロラを用いた内視鏡手術の深さ
- Authors: Mona Sheikh Zeinoddin, Chiara Lena, Jiongqi Qu, Luca Carlini, Mattia Magro, Seunghoi Kim, Elena De Momi, Sophia Bano, Matthew Grech-Sollars, Evangelos Mazomenos, Daniel C. Alexander, Danail Stoyanov, Matthew J. Clarkson, Mobarakol Islam,
- Abstract要約: ロボット内視鏡手術(DARES)におけるDepth Anythingの導入
DAM V2における新しい適応手法であるローランド適応(LoRA)は、自己教師付き単眼深度推定を行う。
近年の最先端の自己監督型単分子深度推定法よりも, 新たな手法が優れていることが検証された。
- 参考スコア（独自算出の注目度）: 17.41557655783514
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robotic-assisted surgery (RAS) relies on accurate depth estimation for 3D reconstruction and visualization. While foundation models like Depth Anything Models (DAM) show promise, directly applying them to surgery often yields suboptimal results. Fully fine-tuning on limited surgical data can cause overfitting and catastrophic forgetting, compromising model robustness and generalization. Although Low-Rank Adaptation (LoRA) addresses some adaptation issues, its uniform parameter distribution neglects the inherent feature hierarchy, where earlier layers, learning more general features, require more parameters than later ones. To tackle this issue, we introduce Depth Anything in Robotic Endoscopic Surgery (DARES), a novel approach that employs a new adaptation technique, Vector Low-Rank Adaptation (Vector-LoRA) on the DAM V2 to perform self-supervised monocular depth estimation in RAS scenes. To enhance learning efficiency, we introduce Vector-LoRA by integrating more parameters in earlier layers and gradually decreasing parameters in later layers. We also design a reprojection loss based on the multi-scale SSIM error to enhance depth perception by better tailoring the foundation model to the specific requirements of the surgical environment. The proposed method is validated on the SCARED dataset and demonstrates superior performance over recent state-of-the-art self-supervised monocular depth estimation techniques, achieving an improvement of 13.3% in the absolute relative error metric. The code and pre-trained weights are available at https://github.com/mobarakol/DARES.
- Abstract（参考訳）: ロボット支援手術(RAS)は3次元再構成と可視化のための正確な深度推定に頼っている。
Depth Anything Models (DAM)のような基礎モデルは有望であるが、手術に直接適用することで、しばしば準最適結果が得られる。
限られた外科的データに対する完全な微調整は、過度な適合と破滅的な忘れ込み、モデルの堅牢性と一般化を引き起こす可能性がある。
Low-Rank Adaptation (LoRA)はいくつかの適応問題に対処するが、その一様パラメータ分布は固有の特徴階層を無視している。
そこで本研究では,DAM V2上のベクトルローランク適応(Vector-LoRA)を用いて,RASシーンにおける自己教師型単眼深度推定を行う新しいアプローチであるDepth Anything in Robotic Endoscopic Surgery (DARES)を紹介した。
学習効率を向上させるため,Vector-LoRAを導入した。
また,手術環境の具体的要件に合わせて基礎モデルを改善することにより,多スケールのSSIM誤差に基づく再投射損失を設計し,深度知覚を高める。
提案手法はSCAREDデータセット上で検証され,最近の最先端の自己教師型単分子深度推定技術よりも優れた性能を示し,絶対相対誤差測定で13.3%向上した。
コードとトレーニング済みのウェイトはhttps://github.com/mobarakol/DARESで公開されている。
関連論文リスト
- Surgical Depth Anything: Depth Estimation for Surgical Scenes using Foundation Models [4.740415113160021]
深度推定の最先端基盤モデルであるDepth Anythingは、ぼやけ、出血、反射といった問題に苦慮している。
本稿では,より正確な深度マップの提供を目的として,外科領域に特化してDepth Anythingモデルを微調整する。
論文 参考訳（メタデータ） (2024-10-09T21:06:14Z) - Advancing Depth Anything Model for Unsupervised Monocular Depth Estimation in Endoscopy [3.1186464715409983]
本稿では,Depth Anything Modelのための新しい微調整戦略を提案する。
本手法は本態性に基づく教師なし単眼深度推定フレームワークと統合する。
SCAREDデータセットで得られた結果は,本手法が最先端の性能を実現することを示す。
論文 参考訳（メタデータ） (2024-09-12T03:04:43Z) - SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - Free-SurGS: SfM-Free 3D Gaussian Splatting for Surgical Scene Reconstruction [36.46068581419659]
手術シーンのリアルタイム3D再構成は,コンピュータ支援手術において重要な役割を担っている。
近年の3次元ガウススプラッティングの進歩は、リアルタイムな新規なビュー合成に大きな可能性を示している。
外科的シーン再構成のためのSfMフリー3DGS法を提案する。
論文 参考訳（メタデータ） (2024-07-03T08:49:35Z) - Endo-4DGS: Endoscopic Monocular Scene Reconstruction with 4D Gaussian Splatting [12.333523732756163]
動的シーン再構築は、下流の作業を大幅に強化し、手術結果を改善することができる。
NeRFベースの手法は、最近、シーンを再構築する異常な能力で有名になった。
本研究では,リアルタイムな内視鏡的動的再構成手法であるEndo-4DGSを提案する。
論文 参考訳（メタデータ） (2024-01-29T18:55:29Z) - Surgical-DINO: Adapter Learning of Foundation Models for Depth
Estimation in Endoscopic Surgery [12.92291406687467]
内視鏡手術における深度推定のためのDINOv2の低ランク適応であるDINO-DINOと呼ばれる基礎モデルに基づく深度推定法を設計する。
従来の微調整ではなく,手術固有のドメイン知識に適応するため,LoRA層を構築してDINOに統合する。
本モデルは,ダ・ヴィンチXi内視鏡手術から収集したSCAREDのMICCAIチャレンジデータセット上で広範囲に検証されている。
論文 参考訳（メタデータ） (2024-01-11T16:22:42Z) - Uncertainty-Aware Adaptation for Self-Supervised 3D Human Pose
Estimation [70.32536356351706]
本稿では、2つの出力ヘッドを2つの異なる構成にサブスクライブする共通のディープネットワークバックボーンを構成するMPP-Netを紹介する。
ポーズと関節のレベルで予測の不確実性を定量化するための適切な尺度を導出する。
本稿では,提案手法の総合評価を行い,ベンチマークデータセット上での最先端性能を示す。
論文 参考訳（メタデータ） (2022-03-29T07:14:58Z) - Geometry Uncertainty Projection Network for Monocular 3D Object
Detection [138.24798140338095]
本稿では,予測および学習段階の誤り増幅問題に対処するために,幾何不確実性予測ネットワーク(GUP Net)を提案する。
具体的には, GUPモジュールを提案し, 推定深さの幾何誘導不確かさを求める。
トレーニング段階では,エラー増幅による不安定性を低減するための階層型タスク学習戦略を提案する。
論文 参考訳（メタデータ） (2021-07-29T06:59:07Z) - Secrets of 3D Implicit Object Shape Reconstruction in the Wild [92.5554695397653]
コンピュータビジョン、ロボティクス、グラフィックスの様々な用途において、高精細な3Dオブジェクトをスパースから再構築することは重要です。
最近の神経暗黙的モデリング法は、合成データセットまたは高密度データセットで有望な結果を示す。
しかし、粗末でノイズの多い実世界のデータではパフォーマンスが悪い。
本論文では, 一般的な神経暗黙モデルの性能低下の根本原因を解析する。
論文 参考訳（メタデータ） (2021-01-18T03:24:48Z) - 3D Dense Geometry-Guided Facial Expression Synthesis by Adversarial
Learning [54.24887282693925]
本稿では,3次元密度(深度,表面正規度)情報を表現操作に用いる新しいフレームワークを提案する。
既製の最先端3D再構成モデルを用いて深度を推定し,大規模RGB-Depthデータセットを作成する。
実験により,提案手法は競争ベースラインと既存の芸術を大きなマージンで上回ることを示した。
論文 参考訳（メタデータ） (2020-09-30T17:12:35Z) - Simple and Effective Prevention of Mode Collapse in Deep One-Class
Classification [93.2334223970488]
深部SVDDにおける超球崩壊を防止するための2つの正則化器を提案する。
第1の正則化器は、標準のクロスエントロピー損失によるランダムノイズの注入に基づいている。
第2の正規化器は、小さすぎるとミニバッチ分散をペナライズする。
論文 参考訳（メタデータ） (2020-01-24T03:44:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。