論文の概要: SurgAM: Surgical Affordance Map Prediction with Multimodal Feature Fusion for Robot Autonomy

• arxiv url: http://arxiv.org/abs/2607.04378v1
• Date: Sun, 05 Jul 2026 16:12:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.910782
• Title: SurgAM: Surgical Affordance Map Prediction with Multimodal Feature Fusion for Robot Autonomy
• Title（参考訳）: SurgAM:マルチモーダル・フィーチャーフュージョンを用いたロボット自律性のための手術適応マップ予測
• Abstract要約: 本稿では,視覚的データから基本的な手術行動のための動作可能な領域を識別する手術手当予測手法を提案する。 自己監督型視覚変換器エンコーダの相補的強度を利用する適応型特徴融合フレームワークを提案する。 シーン誘導型アテンションデコーダを提案する。
• 参考スコア（独自算出の注目度）: 24.007662271891277
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Surgical automation is being increasingly studied, yet bridging visual scene understanding with autonomous action planning remains a fundamental challenge. While much research effort has been made on scene perception (e.g., tool recognition and scene segmentation), understanding and predicting actionable possibilities for surgical automation is still underexplored. In this paper, we introduce surgical affordance prediction, which identifies actionable regions for fundamental surgical actions from visual data. Specifically, a novel adaptive feature fusion framework is proposed that leverages the complementary strengths of a self-supervised vision transformer encoder for its superior semantic understanding and a large-scale generative model encoder for its spatially-aware capability. Furthermore, we introduce a hierarchical prompt learning mechanism to adapt to varying procedural contexts. Finally, a scene-guided attention decoder is proposed to focus on critical surgical areas while suppressing background distractions. To validate the effectiveness, we established a new dataset, derived from publicly available surgical datasets with affordance annotations for three basic surgical actions: aspiration, clipping, and retraction. Extensive experiments demonstrate that our approach achieves state-of-the-art performance. Moreover, we validate our framework's applicability for downstream automation on a realistic lung and prostate phantom, and results show that the predicted affordance maps successfully enable autonomous surgical actions.
• Abstract（参考訳）: 手術の自動化はますます研究されているが、自律的なアクションプランニングによる視覚的な理解をブリッジすることは、依然として根本的な課題である。 シーン認識(例えば、ツール認識やシーンセグメンテーション)に多くの研究努力がなされているが、手術自動化の実行可能な可能性の理解と予測はいまだに過小評価されている。 本稿では,視覚的データから基本的な手術行動のための動作可能な領域を識別する外科的手当予測手法を提案する。 具体的には、自己監督型視覚変換器エンコーダの相補的強度を優れた意味理解に利用し、空間認識能力に大規模な生成モデルエンコーダを提案する。 さらに,様々な手続き的文脈に適応する階層的な素早い学習機構を導入する。 最後に,シーン誘導型アテンションデコーダを提案する。 提案手法の有効性を検証するため,アスピレーション,クリッピング,リトラクションの3つの基本的手術行動に対して,アベイランスアノテーションを用いた手術用データセットから得られた新しいデータセットを構築した。 大規模な実験により,本手法が最先端の性能を達成できることが実証された。 さらに,現実的な肺と前立腺のファントムを下流で自動化するためのフレームワークの適用性を検証する。

関連論文リスト

• Decoding the Surgical Scene: A Scoping Review of Scene Graphs in Surgery [36.192962258966105]
  シーングラフ(SG)は、複雑なダイナミックな手術環境のデコードに不可欠な構造化された表現を提供する。 The PRISMA-ScR-guided scoping review systemally map the evolution landscape of SG research in surgery。 我々の分析は急速に成長しているが、重要な「データ分割」を明らかにしている SGは重要なセマンティックブリッジに成熟し、新しい世代のインテリジェントシステムによって外科の安全性、効率、訓練を改善することができる。
  論文  参考訳（メタデータ） (2025-09-25T09:25:46Z)
• Future Slot Prediction for Unsupervised Object Discovery in Surgical Video [10.984331138780682]
  オブジェクト中心のスロットアテンションは、構造化された解釈可能なオブジェクト中心の表現を教師なしで学習するための新たなパラダイムである。 適応スロット数による現在のアプローチは,画像上では良好に機能するが,手術ビデオ上でのパフォーマンスは低い。 本稿では、時間的推論と最適な将来スロット予測の両方のために訓練された動的時間的スロットトランス (DTST) モジュールを提案する。
  論文  参考訳（メタデータ） (2025-07-02T16:52:16Z)
• SurgTPGS: Semantic 3D Surgical Scene Understanding with Text Promptable Gaussian Splatting [45.16104996137126]
  本稿では,このギャップを埋めるために,新しいテキストプロンプタブルなガウス分割法であるSurgTPGSを提案する。 本研究では,意味的特徴のシームレスな変形を捉え,テクスチャと意味的特徴の双方をより正確に再構築する意味認識変形追跡法を提案する。 本研究では,SurgTPGSの最先端技術に対する優位性を示すために,実世界の2つの外科的データセットの総合的な実験を行った。
  論文  参考訳（メタデータ） (2025-06-29T15:55:01Z)
• Surgical Foundation Model Leveraging Compression and Entropy Maximization for Image-Guided Surgical Assistance [50.486523249499115]
  低侵襲手術(MIS)におけるリアルタイム映像理解の重要性 手術ビデオからコンパクトで情報的表現を学習するための,新しい自己教師型フレームワークであるCompress-to-Explore (C2E)を提案する。 C2Eは、エントロピー最大化デコーダを使用して、臨床的に関連する詳細を保持しながら画像を圧縮し、ラベル付きデータなしでエンコーダのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2025-05-16T14:02:24Z)
• Hypergraph-Transformer (HGT) for Interactive Event Prediction in Laparoscopic and Robotic Surgery [47.47211257890948]
  腹腔内ビデオから外科的ワークフローの重要なインタラクティブな側面を理解し,予測できる予測型ニューラルネットワークを提案する。 我々は,既存の手術用データセットとアプリケーションに対するアプローチを検証し,アクション・トリプレットの検出と予測を行った。 この結果は、非構造的な代替案と比較して、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2024-02-03T00:58:05Z)
• Surgical Temporal Action-aware Network with Sequence Regularization for Phase Recognition [28.52533700429284]
  本稿では,STAR-Netと命名されたシークエンス正規化を施した手術時行動認識ネットワークを提案する。 MS-STAモジュールは、視覚的特徴と2Dネットワークを犠牲にして、手術行動の空間的および時間的知識を統合する。 我々のSTAR-Net with MS-STA and DSR can exploit of visual features of surgery action with effective regularization, which to the excellent performance of surgery phase recognition。
  論文  参考訳（メタデータ） (2023-11-21T13:43:16Z)
• GLSFormer : Gated - Long, Short Sequence Transformer for Step Recognition in Surgical Videos [57.93194315839009]
  本稿では,シーケンスレベルのパッチから時間的特徴を直接学習するための視覚変換器に基づくアプローチを提案する。 本研究では,白内障手術用ビデオデータセットである白内障-101とD99に対するアプローチを広範に評価し,各種の最先端手法と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2023-07-20T17:57:04Z)
• Robotic Navigation Autonomy for Subretinal Injection via Intelligent Real-Time Virtual iOCT Volume Slicing [88.99939660183881]
  網膜下注射のための自律型ロボットナビゲーションの枠組みを提案する。 提案手法は,機器のポーズ推定方法,ロボットとi OCTシステム間のオンライン登録,およびインジェクションターゲットへのナビゲーションに適した軌道計画から構成される。 ブタ前眼の精度と再現性について実験を行った。
  論文  参考訳（メタデータ） (2023-01-17T21:41:21Z)
• CholecTriplet2021: A benchmark challenge for surgical action triplet recognition [66.51610049869393]
  腹腔鏡下手術における三肢の認識のためにMICCAI 2021で実施した内視鏡的視力障害であるColecTriplet 2021を提案する。 課題の参加者が提案する最先端の深層学習手法の課題設定と評価について述べる。 4つのベースライン法と19の新しいディープラーニングアルゴリズムが提示され、手術ビデオから直接手術行動三重項を認識し、平均平均精度(mAP)は4.2%から38.1%である。
  論文  参考訳（メタデータ） (2022-04-10T18:51:55Z)
• Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
  本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。 本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
  論文  参考訳（メタデータ） (2020-11-03T11:00:10Z)
• SuPer Deep: A Surgical Perception Framework for Robotic Tissue Manipulation using Deep Learning for Feature Extraction [25.865648975312407]
  深層学習を外科的知覚に活用する。 我々は,効率的な特徴抽出が可能なディープニューラルネットワークを組織再構成と機器のポーズ推定プロセスに統合した。 本フレームワークは, 深層学習を特徴抽出に用いることにより, 手術環境における最先端の追跡性能を実現する。
  論文  参考訳（メタデータ） (2020-03-07T00:08:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。