論文の概要: Self-Supervised Contrastive Embedding Adaptation for Endoscopic Image Matching
- arxiv url: http://arxiv.org/abs/2512.10379v1
- Date: Thu, 11 Dec 2025 07:44:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-12 16:15:42.255973
- Title: Self-Supervised Contrastive Embedding Adaptation for Endoscopic Image Matching
- Title（参考訳）: 内視鏡画像マッチングのための自己監督型コントラスト埋め込み適応
- Authors: Alberto Rota, Elena De Momi,
- Abstract要約: 本研究では,内視鏡画像対の特徴対応性を確立するための新しいディープラーニングパイプラインを提案する。
提案手法は、新しいビュー合成パイプラインを利用して、接地トルース不整合対応を生成する。
パイプラインはSCAREDデータセットの最先端手法を超越し,マッチング精度とエピポーラ誤差の低減を実現した。
- 参考スコア（独自算出の注目度）: 7.674595072442547
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurate spatial understanding is essential for image-guided surgery, augmented reality integration and context awareness. In minimally invasive procedures, where visual input is the sole intraoperative modality, establishing precise pixel-level correspondences between endoscopic frames is critical for 3D reconstruction, camera tracking, and scene interpretation. However, the surgical domain presents distinct challenges: weak perspective cues, non-Lambertian tissue reflections, and complex, deformable anatomy degrade the performance of conventional computer vision techniques. While Deep Learning models have shown strong performance in natural scenes, their features are not inherently suited for fine-grained matching in surgical images and require targeted adaptation to meet the demands of this domain. This research presents a novel Deep Learning pipeline for establishing feature correspondences in endoscopic image pairs, alongside a self-supervised optimization framework for model training. The proposed methodology leverages a novel-view synthesis pipeline to generate ground-truth inlier correspondences, subsequently utilized for mining triplets within a contrastive learning paradigm. Through this self-supervised approach, we augment the DINOv2 backbone with an additional Transformer layer, specifically optimized to produce embeddings that facilitate direct matching through cosine similarity thresholding. Experimental evaluation demonstrates that our pipeline surpasses state-of-the-art methodologies on the SCARED datasets improved matching precision and lower epipolar error compared to the related work. The proposed framework constitutes a valuable contribution toward enabling more accurate high-level computer vision applications in surgical endoscopy.
- Abstract（参考訳）: 画像誘導手術、拡張現実の統合、コンテキスト認識には正確な空間理解が不可欠である。
視覚入力が唯一の術中モダリティである最小侵襲の手術では、内視鏡フレーム間の正確なピクセルレベルの対応を確立することが、3D再構成、カメラ追跡、シーン解釈に不可欠である。
しかし、手術領域は、弱い視点の手がかり、非ランベルト組織反射、複雑で変形可能な解剖学は、従来のコンピュータビジョン技術の性能を低下させる。
ディープラーニングモデルは自然の場面で強い性能を示してきたが、それらの特徴は外科画像のきめ細かいマッチングには向いておらず、この領域の要求を満たすためにターゲット適応を必要とする。
本研究は,自己教師付きモデルトレーニングフレームワークとともに,内視鏡画像ペアの特徴対応を確立するための新しいディープラーニングパイプラインを提案する。
提案手法は, 新規な合成パイプラインを用いて, 地中不整合対応を生成し, コントラスト学習パラダイムにおける三重項のマイニングに活用する。
この自己監督的アプローチにより、我々はDINOv2バックボーンにトランスフォーマー層を追加し、特にコサイン類似性しきい値による直接マッチングを容易にする埋め込みを生成するよう最適化した。
実験により,本パイプラインはSCAREDデータセットの最先端手法を超越し,マッチング精度とエピポーラ誤差の低減が図られた。
提案フレームワークは,より高精度な高レベルコンピュータビジョンを手術内視鏡で実現するための貴重な貢献である。
関連論文リスト
- BronchOpt : Vision-Based Pose Optimization with Fine-Tuned Foundation Models for Accurate Bronchoscopy Navigation [6.915058920280426]
術中内視鏡視と術前CT解剖の2D-3D登録のための視覚ベースのポーズ最適化フレームワークを提案する。
細調整されたモダリティおよびドメイン不変エンコーダは、実際の内視鏡的RGBフレームとCTレンダリング深度マップとの直接的な類似性を実現する。
本モデルでは, 平均翻訳誤差2.65mm, 回転誤差0.19radを実現し, 高精度かつ安定な局所化を示す。
論文 参考訳（メタデータ） (2025-11-12T15:58:05Z) - Efficient 3D Scene Reconstruction and Simulation from Sparse Endoscopic Views [0.7614628596146601]
内視鏡的画像からインタラクティブな手術シーンを再構築するためのガウススプラッティングに基づくフレームワークを提案する。
データ駆動型シミュレーションのパラダイムにおける重要な課題は、内視鏡カメラの制限された動きである。
本手法は,スパース内視鏡による手術シーンの再現とシミュレートを効果的に行うことができることを示す。
論文 参考訳（メタデータ） (2025-09-21T10:40:36Z) - EndoUFM: Utilizing Foundation Models for Monocular depth estimation of endoscopic images [7.350425834778092]
EndoUFMは、教師なしの単眼深度推定フレームワークである。
強力な事前学習先を活用することにより、深さ推定性能を向上させる。
この研究は、最小侵襲の手術において、外科医の空間的知覚を増大させるのに寄与する。
論文 参考訳（メタデータ） (2025-08-25T11:33:05Z) - Landmark-Free Preoperative-to-Intraoperative Registration in Laparoscopic Liver Resection [50.388465935739376]
術前の3Dモデルを術中2Dフレームにオーバーレイすることで肝臓の空間解剖を明瞭に把握し,より高い手術成功率を達成することができる。
既存の登録法は解剖学的ランドマークに大きく依存しており、2つの大きな制限に直面している。
本稿では,効果的な自己教師型学習を生かした,目覚ましくない術前・術中登録フレームワークを提案する。
論文 参考訳（メタデータ） (2025-04-21T14:55:57Z) - From Real Artifacts to Virtual Reference: A Robust Framework for Translating Endoscopic Images [27.230439605570812]
内視鏡的画像検査では,術前データと術中画像の併用が手術計画やナビゲーションに重要である。
既存のドメイン適応法は、生体内アーティファクトによる分布シフトによって妨げられる。
本稿では,アーチファクト・レジリエントな画像翻訳手法とそれに関連するベンチマークを提案する。
論文 参考訳（メタデータ） (2024-10-15T02:41:52Z) - Intraoperative Registration by Cross-Modal Inverse Neural Rendering [61.687068931599846]
クロスモーダル逆ニューラルレンダリングによる神経外科手術における術中3D/2Dレジストレーションのための新しいアプローチを提案する。
本手法では,暗黙の神経表現を2つの構成要素に分離し,術前および術中における解剖学的構造について検討した。
臨床症例の振り返りデータを用いて本法の有効性を検証し,現在の登録基準を満たした状態での最先端の検査成績を示した。
論文 参考訳（メタデータ） (2024-09-18T13:40:59Z) - CathFlow: Self-Supervised Segmentation of Catheters in Interventional Ultrasound Using Optical Flow and Transformers [66.15847237150909]
縦型超音波画像におけるカテーテルのセグメンテーションのための自己教師型ディープラーニングアーキテクチャを提案する。
ネットワークアーキテクチャは、Attention in Attentionメカニズムで構築されたセグメンテーショントランスフォーマであるAiAReSeg上に構築されている。
我々は,シリコンオルタファントムから収集した合成データと画像からなる実験データセット上で,我々のモデルを検証した。
論文 参考訳（メタデータ） (2024-03-21T15:13:36Z) - Sim2Real within 5 Minutes: Efficient Domain Transfer with Stylized Gaussian Splatting for Endoscopic Images [28.802915155343964]
内膜介入は良性病変と悪性病変の両方に出現する技術である。
実際には,術前領域と術中領域の整列は,テクスチャの相違により複雑になる。
本稿では,スタイライズされたガウススプラッティングに基づく効率的なドメイン転送手法を提案する。
論文 参考訳（メタデータ） (2024-03-16T08:57:00Z) - Real-time landmark detection for precise endoscopic submucosal
dissection via shape-aware relation network [51.44506007844284]
内視鏡下粘膜下郭清術における高精度かつリアルタイムなランドマーク検出のための形状認識型関係ネットワークを提案する。
まず,ランドマーク間の空間的関係に関する先行知識を直感的に表現する関係キーポイント・ヒートマップを自動生成するアルゴリズムを考案する。
次に、事前知識を学習プロセスに段階的に組み込むために、2つの補完的な正規化手法を開発する。
論文 参考訳（メタデータ） (2021-11-08T07:57:30Z) - Adversarial Domain Feature Adaptation for Bronchoscopic Depth Estimation [111.89519571205778]
そこで本研究では,深度推定のためのドメイン適応手法を提案する。
提案する2段階構造は,まず,ラベル付き合成画像を用いた深度推定ネットワークを教師付きで訓練する。
実験の結果,提案手法は実画像上でのネットワーク性能をかなりの差で向上させることがわかった。
論文 参考訳（メタデータ） (2021-09-24T08:11:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。