論文の概要: Semantic RGB--Depth Based Surgical Skill Assessment in Microscopic Stereo Videos

• arxiv url: http://arxiv.org/abs/2610.01205v1
• Date: Thu, 01 Oct 2026 07:15:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.961079
• Title: Semantic RGB--Depth Based Surgical Skill Assessment in Microscopic Stereo Videos
• Title（参考訳）: 意味的RGB--顕微鏡ステレオビデオにおける深度に基づく外科的スキル評価
• Abstract要約: 本研究は,顕微鏡ステレオビデオによる外科的スキル評価のための意味的RGB-Depthフレームワークを提案する。 階層型アテンションアーキテクチャは、個々の手術器具および周辺解剖に対応する意味的RGBストリームを共同で符号化する。 以上の結果から,幾何学的情報により,顕微鏡ステレオビデオによる自動手術スキル評価が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 4.722092886769843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Objective assessment of microsurgical technical skill is essential for competency-based training and quality assurance, yet existing video-based approaches predominantly rely on RGB images and therefore overlook the 3D spatial relationships that characterize instrument-anatomy interactions. Although stereo operating microscopes provide complementary depth information, conventional stereo matching algorithms can produce sparse and unreliable depth estimates under high-magnification imaging conditions, limiting their use for automated skill assessment. This work presents a semantic RGB-Depth framework for surgical skill assessment from microscopic stereo videos. A regression-based depth fusion method combines sparse metric stereo depth with dense monocular depth estimates to generate a dense geometric representation of the surgical scene. This representation is integrated with semantically decomposed RGB streams corresponding to individual surgical instruments and surrounding anatomy. A hierarchical attention architecture jointly encodes these streams to capture discriminative patterns of instrument use and instrument-anatomy interaction across surgeons at different training levels. The framework was evaluated on 33 ex vivo transoral microlaryngeal procedures performed by six surgeons, comprising attending surgeons and surgical residents, using leave-one-surgeon-out cross-validation. The proposed semantic RGB-Depth model achieved an F1 score of 0.938 for skill-level classification, compared with 0.696 for semantic RGB and 0.929 for semantic depth. These results suggest that geometric information can improve automated surgical skill assessment from microscopic stereo videos. The learned spatial, temporal, and semantic attention patterns also support qualitative examination of the scene regions, video segments, and semantic streams emphasized by the model.
• Abstract（参考訳）: マイクロサージカル技術的スキルの客観的評価は、能力に基づくトレーニングと品質保証には不可欠であるが、既存のビデオベースのアプローチは、主にRGB画像に依存しているため、楽器と解剖学の相互作用を特徴付ける3次元空間的関係を見落としている。 ステレオ顕微鏡は相補的な深度情報を提供するが、従来のステレオマッチングアルゴリズムは、高磁化撮像条件下ではスパースで信頼性の低い深度推定を生成でき、自動スキルアセスメントの使用を制限することができる。 本研究は,顕微鏡ステレオビデオによる外科的スキル評価のための意味的RGB-Depthフレームワークを提案する。 回帰に基づく深度融合法では,スパース距離ステレオ深度と高密度単分子深度推定とを組み合わせて,手術シーンの密度幾何学的表現を生成する。 この表現は、個々の手術器具および周辺解剖に対応する意味的に分解されたRGBストリームと統合される。 階層的なアテンションアーキテクチャは、これらのストリームを共同で符号化し、異なる訓練レベルの外科医間での楽器使用の識別パターンと楽器と解剖の相互作用をキャプチャする。 この枠組みは6名の外科医が実施した33例の口腔内微小喉頭手術で評価された。 提案したセマンティックRGB-Depthモデルでは, スキルレベルの分類では0.938点, セマンティックRGBでは0.696点, セマンティックディープでは0.929点であった。 これらの結果は、幾何学的情報により、顕微鏡ステレオビデオによる自動外科的スキルアセスメントを改善することができることを示唆している。 学習された空間的、時間的、意味的な注意パターンは、モデルによって強調されるシーン領域、ビデオセグメント、セマンティックストリームの質的検査もサポートする。

関連論文リスト

• Multimodal Shared Latent Representation of Narration, Microscope and iOCT Images for Phase Recognition in Vitreoretinal Surgery [37.94518682851121]
  硝子体手術における文脈認識型コンピュータによるフィードバックには,外科的位相認識が重要である。 手術用ナレーションと術中OCTを橋渡しするための共有アンカーとして顕微鏡ビューを用いたフレームワークを提案する。 これは、顕微鏡視、i OCT Bスキャン、および外科的位相認識のための共有潜在空間における外科的ナレーションを統一する最初の試みである。
  論文  参考訳（メタデータ） (2026-08-31T16:41:07Z)
• UniSurg: A Video-Native Foundation Model for Universal Understanding of Surgical Videos [81.9180187964947]
  我々は,学習パラダイムを画素レベルの再構成から潜在動作予測に移行する基礎モデルUniSurgを提案する。 大規模な事前トレーニングを可能にするため,13の解剖学的領域にわたる50源からの3,658時間の動画を含む,これまでで最大規模の手術用ビデオデータセットをキュレートした。 これらの結果は、UniSurgを、ユニバーサルでモーション指向の外科的ビデオ理解の新しい標準として確立している。
  論文  参考訳（メタデータ） (2026-02-05T13:18:33Z)
• SurgTPGS: Semantic 3D Surgical Scene Understanding with Text Promptable Gaussian Splatting [45.16104996137126]
  本稿では,このギャップを埋めるために,新しいテキストプロンプタブルなガウス分割法であるSurgTPGSを提案する。 本研究では,意味的特徴のシームレスな変形を捉え,テクスチャと意味的特徴の双方をより正確に再構築する意味認識変形追跡法を提案する。 本研究では,SurgTPGSの最先端技術に対する優位性を示すために,実世界の2つの外科的データセットの総合的な実験を行った。
  論文  参考訳（メタデータ） (2025-06-29T15:55:01Z)
• A self-supervised and adversarial approach to hyperspectral demosaicking and RGB reconstruction in surgical imaging [3.426432165500852]
  ハイパースペクトルイメージングは、肉眼では見えない詳細な情報を持つ生体組織分化機能を提供することによって、外科的イメージングにおいて有望である。 術中誘導のためには、リアルタイムのスペクトルデータキャプチャと表示が義務付けられている。この要件から、現在、スナップショットモザイクハイパースペクトルカメラが最も適した技術であると見なされている。 本稿では,2組の高分解能データに依存しない自己教師型復号法とRGB再構成法を提案する。
  論文  参考訳（メタデータ） (2024-07-27T15:29:35Z)
• Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose Estimation of Surgical Instruments [64.59698930334012]
  静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。 第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。 第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
  論文  参考訳（メタデータ） (2023-05-05T13:42:19Z)
• Attentive Symmetric Autoencoder for Brain MRI Segmentation [56.02577247523737]
  視覚変換器(ViT)をベースとした3次元脳MRIセグメンテーションタスクのための新しいアテンテーティブシンメトリオートエンコーダを提案する。 事前学習の段階では、提案するオートエンコーダがより注意を払って、勾配測定値に従って情報パッチを再構築する。 実験の結果,提案手法は最先端の自己教師付き学習法や医用画像分割モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-09-19T09:43:19Z)
• A Temporal Learning Approach to Inpainting Endoscopic Specularities and Its effect on Image Correspondence [13.25903945009516]
  本稿では,時間的生成的対位ネットワーク(GAN)を用いて,隠蔽解剖学を特異性の下で描くことを提案する。 これは、胃内視鏡(Hyper-Kvasir)の生検データを用いて、完全に教師なしの方法で達成される。 また,3次元再構成とカメラモーション推定の基盤となるコンピュータビジョンタスクにおける本手法の有効性を評価する。
  論文  参考訳（メタデータ） (2022-03-31T13:14:00Z)
• SERV-CT: A disparity dataset from CT for validation of endoscopic 3D reconstruction [8.448866668577946]
  CT(SERV-CT)に基づく立体内視鏡再構成検証データセットを提案する。 SERV-CTデータセットは、内視鏡画像の大部分をカバーするスムーズな参照格差と深さを持つ外科的アプリケーションのための使いやすい立体的検証を提供します。
  論文  参考訳（メタデータ） (2020-12-22T01:28:30Z)
• Towards Augmented Reality-based Suturing in Monocular Laparoscopic Training [0.5707453684578819]
  本研究では,シリコーンパッド上での腹腔鏡下トレーニング結果を高めるために,定量的かつ質的な視覚表現を備えた拡張現実環境を提案する。 これは、マルチクラスセグメンテーションと深度マップ予測を実行するマルチタスク教師付きディープニューラルネットワークによって実現されている。 本発明のネットワークは、手術針分割用ダイススコア0.67、針ホルダ計器セグメンテーション0.81、深さ推定用平均絶対誤差6.5mmを達成する。
  論文  参考訳（メタデータ） (2020-01-19T19:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。