論文の概要: HyKey: Hyperspectral Keypoint Detection and Matching in Minimally Invasive Surgery

• arxiv url: http://arxiv.org/abs/2604.17446v1
• Date: Sun, 19 Apr 2026 13:57:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.528449
• Title: HyKey: Hyperspectral Keypoint Detection and Matching in Minimally Invasive Surgery
• Title（参考訳）: HyKey:極小侵襲手術におけるハイパースペクトルキーポイント検出とマッチング
• Authors: Alexander Saikia, Chiara Di Vece, Zhehua Mao, Sierra Bonilla, Chloe He, Joao Ramalhinho, Tobias Czempiel, Sophia Bano, Danail Stoyanov,
• Abstract要約: ミニマル侵襲手術(MIS)における3次元再構築は,視認性の向上,ツールトラッキング,拡張現実による手術指導の強化を可能にする。 我々は, スナップショットハイパースペクトルイメージング(HSI)を用いて, キーポイント検出と手術シーンの整合性を改善することができるか検討した。 我々はHyKeyを開発した。HyKeyはハイブリッド3D-2D畳み込みニューラルネットワークで構築されたハイパスペクトルKEYpointの検出と記述モデルで、HSIから空間スペクトルの特徴を共同抽出する。
• 参考スコア（独自算出の注目度）: 40.93245185071822
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Purpose: 3D reconstruction in minimally invasive surgery (MIS) enables enhanced surgical guidance through improved visualisation, tool tracking, and augmented reality. However, traditional RGB-based keypoint detection and matching pipelines struggle with surgical challenges, such as poor texture and complex illumination. We investigate whether using snapshot hyperspectral imaging (HSI) can provide improved results on keypoint detection and matching surgical scenes. Methods: We developed HyKey, a HYperspectral KEYpoint detection and description model made up of a hybrid 3D-2D convolutional neural network that jointly extracts spatial-spectral features from HSI. The model was trained using synthetic homographic augmentation and epipolar geometry constraints on a robotically-acquired dual-camera RGB-HSI laparoscopic dataset of ex-vivo organs with calibrated camera poses. We benchmarked performance against established RGB-based methods, including SuperPoint and ALIKE. Results: Our HSI-based model outperformed RGB baselines on registered RGB frames, achieving 96.62% mean matching accuracy and 67.18% mean average accuracy at 10 degree on pose estimation, demonstrating consistent improvements across multiple evaluation metrics. Conclusion: Integrating spectral information from an HSI cube offers a promising approach for robust monocular 3D reconstruction in MIS, addressing limitations of texture-poor surgical environments through enhanced spectral-spatial feature discrimination. Our model and dataset are available at https://github.com/alexsaikia/HyKey-Hyperspectral-Keypoint-Detection
• Abstract（参考訳）: 目的: 最小侵襲手術(MIS)における3次元再建は, 視認性の向上, ツールトラッキング, 拡張現実を通じて, 手術指導の強化を可能にする。 しかし、従来のRGBベースのキーポイント検出とマッチングパイプラインは、テクスチャの貧弱さや複雑な照明といった外科的課題に悩まされている。 我々は, スナップショットハイパースペクトルイメージング(HSI)を用いて, キーポイント検出と手術シーンの整合性を改善することができるか検討した。 方法: HSIから空間スペクトル特徴を共同抽出するハイブリッド3D-2D畳み込みニューラルネットワークを用いたハイパスペクトルKEYpointの検出と記述モデルであるHyKeyを開発した。 このモデルは、ロボットが取得した2台のカメラRGB-HSIラパロスコープ・データセット上で、合成ホモグラフィック増強とエピポーラ幾何学的制約を用いて訓練された。 我々は SuperPoint や ALIKE など,既存の RGB ベースの手法と比較して性能をベンチマークした。 結果: 我々のHSIモデルでは登録されたRGBフレーム上でRGBベースラインを上回り,96.62%の平均一致精度と67.18%の平均平均誤差を10度のポーズ推定で達成し,複数の評価指標で一貫した改善を示した。 結論: HSI立方体からのスペクトル情報の統合は, スペクトル空間特徴識別の強化により, テクスチャ・ポーア手術環境の限界に対処し, MIS の頑健な単分子3次元再構成に有望なアプローチを提供する。 私たちのモデルとデータセットはhttps://github.com/alexsaikia/HyKey-Hyperspectral-Keypoint-detectionで公開されています。

関連論文リスト

• Perceptual Quality Assessment of 3D Gaussian Splatting: A Subjective Dataset and Prediction Metric [76.66966098297986]
  3DGSの主観的品質評価データセットである3DGS-QAを提案する。 15種類の物体に対して225の劣化した復元を行い、共通の歪み要因の制御を可能にした。 本モデルでは,ガウス表現から空間的および測光的手がかりを抽出し,構造的に知覚された品質を推定する。
  論文  参考訳（メタデータ） (2025-11-11T09:34:20Z)
• Subsampled Randomized Fourier GaLore for Adapting Foundation Models in Depth-Driven Liver Landmark Segmentation [6.91206648866302]
  本稿では,視覚基盤エンコーダを用いた意味的および幾何学的手がかりを組み込んだディープガイド型肝ランドマークセグメンテーションフレームワークを提案する。 SAM2 を効率よく適応させるために,SRFT-GaLore は,計算コストの高い SVD をサブサンプリングランダム化フーリエ変換に置き換える,新しい低ランク勾配投影法である。 本手法は,D2GPLandと比較して,Dice類似度係数が4.85%向上し,平均対称表面距離が11.78ポイント削減された。
  論文  参考訳（メタデータ） (2025-11-05T04:16:49Z)
• AugmentGest: Can Random Data Cropping Augmentation Boost Gesture Recognition Performance? [49.64902130083662]
  本稿では、幾何変換、ランダム変動、回転、ズーム、強度に基づく変換を統合する包括的データ拡張フレームワークを提案する。 提案手法は,マルチストリームe2eET,FPPRポイントクラウドベースハンドジェスチャ認識(HGR),DD-Networkの3つのモデルで評価される。
  論文  参考訳（メタデータ） (2025-06-08T16:43:05Z)
• Feature-EndoGaussian: Feature Distilled Gaussian Splatting in Surgical Deformable Scene Reconstruction [26.358467072736524]
  3DGSの拡張であるFeature-EndoGaussian (FEG)を導入し、2Dセグメンテーションキューを3Dレンダリングに統合し、リアルタイムなセマンティックとシーン再構築を実現する。 FEGは先行法に比べて優れた性能(SSIMは0.97、PSNRは39.08、LPIPSは0.03)を達成している。
  論文  参考訳（メタデータ） (2025-03-08T10:50:19Z)
• Handling Geometric Domain Shifts in Semantic Segmentation of Surgical RGB and Hyperspectral Images [67.66644395272075]
  本稿では,幾何学的アウト・オブ・ディストリビューションデータに直面する場合の,最先端のセマンティックセマンティックセマンティクスモデルの最初の解析を行う。 本稿では, 汎用性を高めるために, 有機移植(Organ Transplantation)と呼ばれる拡張技術を提案する。 我々の拡張技術は、RGBデータに対して最大67%、HSIデータに対して90%のSOAモデル性能を改善し、実際のOODテストデータに対して、分配内パフォーマンスのレベルでのパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-27T19:13:15Z)
• Comparative Analysis of Hyperspectral Image Reconstruction Using Deep Learning for Agricultural and Biological Applications [0.0]
  本研究では,RGB(赤,緑,青)画像からの深層学習に基づくハイパースペクトル画像再構成について検討した。 その結果, 農業・生物応用のための費用対効果・効率の高い品質評価ツールとして, 深層学習に基づくハイパースペクトル画像再構成が期待できることが明らかになった。
  論文  参考訳（メタデータ） (2024-05-22T04:20:30Z)
• Superpixel Graph Contrastive Clustering with Semantic-Invariant Augmentations for Hyperspectral Images [73.01141916544103]
  ハイパースペクトル画像(HSI)クラスタリングは重要な課題だが難しい課題である。 まず3次元と2次元のハイブリッド畳み込みニューラルネットワークを用いてHSIの高次空間およびスペクトルの特徴を抽出する。 次に,超画素グラフの対比クラスタリングモデルを設計し,識別的超画素表現を学習する。
  論文  参考訳（メタデータ） (2024-03-04T07:40:55Z)
• Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose Estimation of Surgical Instruments [64.59698930334012]
  静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。 第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。 第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
  論文  参考訳（メタデータ） (2023-05-05T13:42:19Z)
• Fast Hyperspectral Image Recovery via Non-iterative Fusion of Dual-Camera Compressive Hyperspectral Imaging [22.683482662362337]
  符号化開口分光画像(CASSI)は3次元ハイパースペクトル像(HSI)を撮像するための有望な技術である 様々な正規化器を用いて2次元計測から3次元データを再構成している。 実現可能な解決策の1つは、CASSIのRGB測定などの追加情報を活用することです。
  論文  参考訳（メタデータ） (2020-12-30T10:29:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。