論文の概要: DUNEDepth: Bronchoscopic Depth and Pose Estimation via Hybrid Adaptation of a 3D-Vision Foundation Model
- arxiv url: http://arxiv.org/abs/2611.04025v1
- Date: Mon, 02 Nov 2026 22:13:02 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:54:43.302666
- Title: DUNEDepth: Bronchoscopic Depth and Pose Estimation via Hybrid Adaptation of a 3D-Vision Foundation Model
- Title(参考訳): DUNEDepth: 3D-Vision Foundation Modelのハイブリッド適応による気管支鏡的深さとポス推定
- Abstract要約: 本稿では,共有DUNE ViTエンコーダと2つのMASt3Rクロスアテンションデコーダ構造と予測ヘッドを組み合わせたハイブリッドアーキテクチャであるDUNEDepthを提案する。
DUNEDepthは従来提案されていた自己監督法よりも深度情報やカメラモーションの軌跡をより正確に導き出すことを示した。
- 参考スコア(独自算出の注目度): 5.710995582169009
- License:
- Abstract: State-of-the-art bronchoscopy guidance systems and computer-aided diagnosis methods have emerged as important tools for early lung cancer detection. Effective use of these tools depends on being able to accurately link a patient's bronchoscopic airway exam video to their pre-operative 3D chest CT scan. Unfortunately, the derivation of such links, which include bronchoscope depth and camera motion, from the exam video remains an open problem. Building on recently proposed 3D-vision foundation models, we propose DUNEDepth, a hybrid architecture that combines a shared DUNE ViT encoder, a twin MASt3R cross-attention decoder structure, and a prediction head that includes elements of the MASt3R and Reloc3r models. To fine-tune the architecture to our application, we utilize an integrated hybrid synthetic-supervised/self-supervised training strategy that draws on both bronchoscopic video and CT-derived virtual bronchoscopic views. Experiments drawing on bronchoscopic video sequences demonstrate that DUNEDepth more accurately derives depth information and camera motion trajectories than previously proposed self-supervised methods.
- Abstract(参考訳): 早期肺癌の診断には,最先端の気管支鏡検査システムとコンピュータ支援による診断方法が重要視されている。
これらのツールの効果的な使用は、患者の気管支鏡による気道検査ビデオと術前の3D胸部CTスキャンを正確に結びつけることができるかどうかにかかっている。
残念なことに、テストビデオから気管支鏡の深さやカメラの動きを含むこのようなリンクの導出は、未解決の問題である。
最近提案された3次元ファウンデーションモデルに基づいて,共有DUNE ViTエンコーダと2つのMASt3Rクロスアテンションデコーダ構造を組み合わせたハイブリッドアーキテクチャDUNEDepthと,MASt3RとReloc3rモデルの要素を含む予測ヘッドを提案する。
このアーキテクチャをアプリケーションに微調整するために,気管支鏡画像とCTからの仮想気管支鏡像の両方をベースとした,総合的な総合的総合的・自己監督的トレーニング戦略を応用した。
DUNEDepthは従来提案されていた自己監督法よりも深度情報やカメラモーションの軌跡をより正確に導き出すことを示した。
関連論文リスト
- PhyDiCT: Plug-and-Play CT Reconstruction from Sparse X-Rays via Differentiable Rendering and Strong Priors [9.618219976518285]
少数のX線プロジェクションからのCT画像の再構成は、情報の欠落による非常に不適切な逆問題である。
本稿では,Beer-Lambert法則に基づく微分可能な物理モデルを統合する学習自由フレームワークであるPhyDiCTを提案する。
本手法は,知覚と意味の両方の指標を用いて,公開されている3次元CTデータセットに対して広範に評価する。
論文 参考訳(メタデータ) (2026-10-07T00:38:54Z) - ViPS: Video-informed Pose Spaces for Auto-Rigged Meshes [55.32681167870698]
Video-informed Pose Spaces (ViPS)は、自動リップメッシュのための有効な調律の潜時分布を検出するフィードフォワードフレームワークである。
ViPSは生成ビデオの先行値を所定のリグパラメータ化上の普遍分布に転送する。
評価の結果,VPSは,合成アーティストが作成した4Dデータに基づいて訓練した最先端の手法の性能と,妥当性と多様性の両面で一致していることがわかった。
論文 参考訳(メタデータ) (2026-04-19T21:21:11Z) - BronchOpt : Vision-Based Pose Optimization with Fine-Tuned Foundation Models for Accurate Bronchoscopy Navigation [6.915058920280426]
術中内視鏡視と術前CT解剖の2D-3D登録のための視覚ベースのポーズ最適化フレームワークを提案する。
細調整されたモダリティおよびドメイン不変エンコーダは、実際の内視鏡的RGBフレームとCTレンダリング深度マップとの直接的な類似性を実現する。
本モデルでは, 平均翻訳誤差2.65mm, 回転誤差0.19radを実現し, 高精度かつ安定な局所化を示す。
論文 参考訳(メタデータ) (2025-11-12T15:58:05Z) - BronchoGAN: Anatomically consistent and domain-agnostic image-to-image translation for video bronchoscopy [0.0]
本稿では,画像から画像への変換が条件付きGANに統合される際の解剖学的制約について紹介する。
特に,気管支オリフィスを入力画像と出力画像に合わせるように強制する。
実験の結果,異なる領域からの入力画像は,現実的な人間の気道外観を模倣した画像に変換可能であることがわかった。
論文 参考訳(メタデータ) (2025-07-02T06:04:00Z) - DVG-Diffusion: Dual-View Guided Diffusion Model for CT Reconstruction from X-Rays [32.55527512602604]
新しいビュー合成を取り入れた複雑な2次元X線画像から3次元CTマッピングを容易にし、ビュー誘導機能アライメントによる学習難度を低減する。
具体的には,DVG拡散モデル (DVG-Diffusion) を提案する。
論文 参考訳(メタデータ) (2025-03-22T16:03:18Z) - UVRM: A Scalable 3D Reconstruction Model from Unposed Videos [68.34221167200259]
従来の2次元視覚データを用いた3D再構成モデルのトレーニングには、トレーニングサンプルのカメラポーズに関する事前知識が必要である。
UVRMは、ポーズに関する情報を必要とせず、単眼ビデオでトレーニングし、評価できる新しい3D再構成モデルである。
論文 参考訳(メタデータ) (2025-01-16T08:00:17Z) - 3D Guidewire Shape Reconstruction from Monoplane Fluoroscopic Images [7.0968125126570625]
本稿では,最新の血管内シミュレータCathSimを用いて3Dガイドワイヤを再構築する手法を提案する。
我々の3D-FGRNは、シミュレーションされた単平面蛍光画像から従来の三角測量と同等の結果が得られる。
論文 参考訳(メタデータ) (2023-11-19T03:20:42Z) - REGAS: REspiratory-GAted Synthesis of Views for Multi-Phase CBCT
Reconstruction from a single 3D CBCT Acquisition [75.64791080418162]
REGASは、アンダーサンプドトモグラフィビューを合成し、再構成画像中のアーティファクトのエイリアスを緩和する自己教師手法を提案する。
高解像度4Dデータ上でのディープニューラルネットワークの大規模なメモリコストに対処するため、REGASは分散して微分可能なフォワードプロジェクションを可能にする新しいレイパス変換(RPT)を導入した。
論文 参考訳(メタデータ) (2022-08-17T03:42:19Z) - Adversarial Domain Feature Adaptation for Bronchoscopic Depth Estimation [111.89519571205778]
そこで本研究では,深度推定のためのドメイン適応手法を提案する。
提案する2段階構造は,まず,ラベル付き合成画像を用いた深度推定ネットワークを教師付きで訓練する。
実験の結果,提案手法は実画像上でのネットワーク性能をかなりの差で向上させることがわかった。
論文 参考訳(メタデータ) (2021-09-24T08:11:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。