論文の概要: Learning to Efficiently Adapt Foundation Models for Self-Supervised Endoscopic 3D Scene Reconstruction from Any Cameras

• arxiv url: http://arxiv.org/abs/2503.15917v1
• Date: Thu, 20 Mar 2025 07:49:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:34:02.469843
• Title: Learning to Efficiently Adapt Foundation Models for Self-Supervised Endoscopic 3D Scene Reconstruction from Any Cameras
• Title（参考訳）: カメラを用いた自己監督型内視鏡3次元シーン再構成のための基礎モデル適応学習
• Authors: Beilei Cui, Long Bai, Mobarakol Islam, An Wang, Zhiqi Ma, Yiming Huang, Feng Li, Zhen Chen, Zhongliang Jiang, Nassir Navab, Hongliang Ren,
• Abstract要約: 本稿では,内視鏡的シーン再構築のための統合フレームワークであるEndo3DACを紹介する。 我々は、深度マップ、相対ポーズ、カメラ固有のパラメータを同時に推定できる統合ネットワークを設計する。 4つの内視鏡的データセットに対する実験により、Endo3DACは他の最先端の手法よりも大幅に優れていることが示された。
• 参考スコア（独自算出の注目度）: 41.985581990753765
• License:
• Abstract: Accurate 3D scene reconstruction is essential for numerous medical tasks. Given the challenges in obtaining ground truth data, there has been an increasing focus on self-supervised learning (SSL) for endoscopic depth estimation as a basis for scene reconstruction. While foundation models have shown remarkable progress in visual tasks, their direct application to the medical domain often leads to suboptimal results. However, the visual features from these models can still enhance endoscopic tasks, emphasizing the need for efficient adaptation strategies, which still lack exploration currently. In this paper, we introduce Endo3DAC, a unified framework for endoscopic scene reconstruction that efficiently adapts foundation models. We design an integrated network capable of simultaneously estimating depth maps, relative poses, and camera intrinsic parameters. By freezing the backbone foundation model and training only the specially designed Gated Dynamic Vector-Based Low-Rank Adaptation (GDV-LoRA) with separate decoder heads, Endo3DAC achieves superior depth and pose estimation while maintaining training efficiency. Additionally, we propose a 3D scene reconstruction pipeline that optimizes depth maps' scales, shifts, and a few parameters based on our integrated network. Extensive experiments across four endoscopic datasets demonstrate that Endo3DAC significantly outperforms other state-of-the-art methods while requiring fewer trainable parameters. To our knowledge, we are the first to utilize a single network that only requires surgical videos to perform both SSL depth estimation and scene reconstruction tasks. The code will be released upon acceptance.
• Abstract（参考訳）: 正確な3Dシーンの再構築は多くの医療業務に不可欠である。 地上の真実データを取得する上での課題から,シーン再構築の基盤として,内視鏡的深度推定のための自己教師型学習(SSL)に注目が集まっている。 基礎モデルは視覚的タスクにおいて顕著な進歩を示したが、医療領域への直接適用は、しばしば最適以下の結果をもたらす。 しかし、これらのモデルから得られる視覚的特徴は依然として内視鏡的タスクを強化し、効率的な適応戦略の必要性を強調している。 本稿では,内視鏡的シーン再構築のための統合フレームワークであるEndo3DACについて紹介する。 我々は、深度マップ、相対ポーズ、カメラ固有のパラメータを同時に推定できる統合ネットワークを設計する。 バックボーンファンデーションモデルを凍結し、個別のデコーダヘッドを備えた特別設計のGated Dynamic Vector-Based Low-Rank Adaptation (GDV-LoRA) のみを訓練することにより、Endo3DACはトレーニング効率を維持しながら、より優れた深さとポーズ推定を実現する。 さらに、深度マップのスケール、シフト、および統合ネットワークに基づくパラメータを最適化する3次元シーン再構築パイプラインを提案する。 4つの内視鏡的データセットにわたる大規模な実験により、Endo3DACはトレーニング可能なパラメータを少なくしながら、他の最先端手法よりも大幅に優れていることが示された。 我々の知る限りでは、SSL深度推定とシーン再構築の両方を行うために、外科的ビデオのみを必要とする単一のネットワークを利用するのは、私たちは初めてである。 コードは受理時にリリースされます。

関連論文リスト

• MonST3R: A Simple Approach for Estimating Geometry in the Presence of Motion [118.74385965694694]
  我々は動的シーンから時間ステップごとの幾何を直接推定する新しい幾何学的アプローチであるMotion DUSt3R(MonST3R)を提案する。 各タイムステップのポイントマップを単純に推定することで、静的シーンにのみ使用されるDUST3Rの表現を動的シーンに効果的に適応させることができる。 我々は、問題を微調整タスクとしてポーズし、いくつかの適切なデータセットを特定し、この制限されたデータ上でモデルを戦略的に訓練することで、驚くほどモデルを動的に扱えることを示す。
  論文  参考訳（メタデータ） (2024-10-04T18:00:07Z)
• Advancing Depth Anything Model for Unsupervised Monocular Depth Estimation in Endoscopy [2.906891207990726]
  本稿では,Depth Anything Modelのための新しい微調整戦略を提案する。 本手法は本態性に基づく教師なし単眼深度推定フレームワークと統合する。 提案手法は,トレーニング可能なパラメータ数を最小化しつつ,最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-09-12T03:04:43Z)
• EndoDAC: Efficient Adapting Foundation Model for Self-Supervised Depth Estimation from Any Endoscopic Camera [12.152362025172915]
  内視鏡的深度カメラ (EndoDAC) を用いて, 基礎モデルを内視鏡的シーンに適応させる手法を提案する。 具体的には、DV-LoRA(Dynamic Vector-Based Low-Rank Adaptation)を開発し、畳み込みネックブロックを用いる。 当社のフレームワークは,任意のカメラからの単眼手術ビデオのみをトレーニングし,最小限のトレーニングコストを確保できる。
  論文  参考訳（メタデータ） (2024-05-14T14:55:15Z)
• Endo-4DGS: Endoscopic Monocular Scene Reconstruction with 4D Gaussian Splatting [12.333523732756163]
  動的シーン再構築は、下流の作業を大幅に強化し、手術結果を改善することができる。 NeRFベースの手法は、最近、シーンを再構築する異常な能力で有名になった。 本研究では,リアルタイムな内視鏡的動的再構成手法であるEndo-4DGSを提案する。
  論文  参考訳（メタデータ） (2024-01-29T18:55:29Z)
• EndoGS: Deformable Endoscopic Tissues Reconstruction with Gaussian Splatting [20.848027172010358]
  変形性内視鏡組織再建に対する Gaussian Splatting 法を施行した。 提案手法は,動的シーンを扱うための変形場,空間時空間マスクを用いた深度誘導型監視,表面整列正規化項を含む。 結果として、EndoGSは単一視点ビデオ、推定深度マップ、ラベル付きツールマスクから高品質な変形可能な内視鏡組織を再構成しレンダリングする。
  論文  参考訳（メタデータ） (2024-01-21T16:14:04Z)
• Disruptive Autoencoders: Leveraging Low-level features for 3D Medical Image Pre-training [51.16994853817024]
  本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。 ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。 提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-07-31T17:59:42Z)
• ColDE: A Depth Estimation Framework for Colonoscopy Reconstruction [27.793186578742088]
  本研究では,大腸内視鏡データの特別な課題に対処するために,一連のトレーニング損失を設計した。 ColDEという名前の自己監督型フレームワークは、十分なトレーニング損失を伴って、大腸内視鏡データのより詳細なマップを生成することができる。
  論文  参考訳（メタデータ） (2021-11-19T04:44:27Z)
• Adversarial Domain Feature Adaptation for Bronchoscopic Depth Estimation [111.89519571205778]
  そこで本研究では,深度推定のためのドメイン適応手法を提案する。 提案する2段階構造は,まず,ラベル付き合成画像を用いた深度推定ネットワークを教師付きで訓練する。 実験の結果,提案手法は実画像上でのネットワーク性能をかなりの差で向上させることがわかった。
  論文  参考訳（メタデータ） (2021-09-24T08:11:34Z)
• Deep Direct Volume Rendering: Learning Visual Feature Mappings From Exemplary Images [57.253447453301796]
  本稿では,ディープ・ダイレクト・ボリューム・レンダリング(Deep Direct Volume Rendering,DVR)を導入し,ディープ・ニューラル・ネットワークをDVRアルゴリズムに統合する。 潜在色空間におけるレンダリングを概念化し、深層アーキテクチャを用いて特徴抽出と分類のための暗黙マッピングを学習できるようにする。 我々の一般化は、画像空間の例から直接エンドツーエンドにトレーニングできる新しいボリュームレンダリングアーキテクチャを導き出すのに役立つ。
  論文  参考訳（メタデータ） (2021-06-09T23:03:00Z)
• Neural Descent for Visual 3D Human Pose and Shape [67.01050349629053]
  入力RGB画像から3次元のポーズと形状を復元するディープニューラルネットワーク手法を提案する。 我々は最近導入された表現力のあるボディ統計モデルGHUMに頼っている。 我々の方法論の中心は、HUmanNeural Descent (HUND)と呼ばれるアプローチの学習と最適化である。
  論文  参考訳（メタデータ） (2020-08-16T13:38:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。