論文の概要: Object Tokens as a Bridge Between Segmentation and Visual Question Answering in Robotic Surgery

• arxiv url: http://arxiv.org/abs/2606.15861v1
• Date: Sun, 14 Jun 2026 15:30:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 18:36:04.919041
• Title: Object Tokens as a Bridge Between Segmentation and Visual Question Answering in Robotic Surgery
• Title（参考訳）: ロボット手術におけるセグメンテーションと視覚質問応答の橋渡しとしてのオブジェクトトークン
• Abstract要約: 一つのフレームワーク内でピクセルレベルのセグメンテーションと視覚的質問応答を共同で行う統合フレームワークを提案する。 提案手法は,自家用RAMIE(Robot-Assisted Minimally Invasive Esophagectomy)データセットとEndoVis18データセットを用いて評価した。 その結果,視覚言語モデルにコンテキスト対応オブジェクトトークンを組み込むことで,よりきめ細かな手術シーンの理解が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 1.4146817306459933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual Question Answering (VQA) in robotic surgery, referred to as surgical VQA, requires high-level understanding of complex surgical scenes and the integration of visual perception with language reasoning, with the potential to support surgical training and intraoperative decision-making. Recent Vision-Language Models (VLMs) have shown promising performance through parameter-efficient fine-tuning; however, most existing approaches rely on coarse visual grounding, typically limited to bounding boxes, which fails to capture the fine-grained spatial structure of surgical objects. In this work, we propose a unified framework that jointly performs pixel-level segmentation and visual question answering within a single framework. Our approach integrates a VLM with a Segment Anything Model (SAM)-based decoder and represents scene elements as object tokens generated by the VLM. These object tokens guide answer prediction and are further projected to the SAM-based decoder to produce segmentation masks. By optimizing the object token embeddings through both segmentation and question answering objectives, the model learns spatially grounded representations that enhance visual reasoning while providing explicit pixel-level grounding. We evaluate the proposed method on the private RAMIE (Robot-Assisted Minimally Invasive Esophagectomy) dataset and the public EndoVis18 dataset, where it consistently outperforms baseline methods for surgical VQA. These results demonstrate that incorporating context-aware object tokens into vision-language models improves fine-grained surgical scene understanding.
• Abstract（参考訳）: ロボット手術における視覚質問応答(VQA: Visual Question Answering)は、複雑な手術シーンの高レベルな理解と言語推論との視覚的認識の統合を必要とし、手術訓練や術中意思決定を支援する可能性がある。 近年のビジョン・ランゲージ・モデル(VLM)はパラメータ効率のよい微調整によって有望な性能を示したが、既存のほとんどのアプローチは粗い視覚的接地に依存しており、通常は境界ボックスに限られており、手術対象の微細な空間構造を捉えることができない。 本研究では,1つのフレームワーク内でピクセルレベルのセグメンテーションと視覚的質問応答を共同で行う統合フレームワークを提案する。 本手法では,VLMをSAMベースのデコーダと統合し,シーン要素をVLMの生成したオブジェクトトークンとして表現する。 これらのオブジェクトトークンは回答予測をガイドし、さらにSAMベースのデコーダに投影され、セグメンテーションマスクを生成する。 オブジェクトトークンの埋め込みをセグメンテーションと質問応答の両方の目的によって最適化することにより、明確なピクセルレベルのグラウンド化を提供しながら、視覚的推論を強化する空間的グラウンドド表現を学習する。 本手法は,手術用VQAのベースライン法を一貫して上回り,個人用RAMIE(Robot-Assisted Minimally Invasive Esophagectomy)データセットと一般向けEndoVis18データセットで評価する。 これらの結果から,コンテキスト認識型オブジェクトトークンを視覚言語モデルに組み込むことで,よりきめ細かい手術シーンの理解が向上することが示唆された。

関連論文リスト

• RoboSurg-VQA: A Multimodal Benchmark for Surgical Segmentation-Aware Visual Question Answering [15.020056500396478]
  セグメント認識型視覚質問応答(VQA)ベンチマークである textbfRoboSurg-VQA を提案する。 各フレームは、手順コンテキスト、解剖学(領域を含む)、画像のモダリティ/ビュー、外科的アーティファクト、画像品質、基本的な可視性および空間特性にまたがる固定された一連の臨床的動機付けられた質問とペアリングされる。 本報告では, 手術条件下でのベンチマーク統計, 衛生基準, 共通評価課題について報告する。
  論文  参考訳（メタデータ） (2026-05-21T21:58:11Z)
• Towards Unified Surgical Scene Understanding:Bridging Reasoning and Grounding via MLLMs [32.18549469001096]
  SurgMLLMは統一的な手術シーン理解フレームワークである。 単一のモデル内で、ハイレベルな推論と低レベルなビジュアルグラウンドをブリッジする。 大規模な実験により、SurgMLLMは外科的シーン理解を著しく前進させることが示された。
  論文  参考訳（メタデータ） (2026-05-13T13:42:23Z)
• FOCUS: Unified Vision-Language Modeling for Interactive Editing Driven by Referential Segmentation [55.01077993490845]
  最近のLVLM(Large Vision Language Models)は、視覚的理解と生成的モデリングを統一する有望な能力を示している。 本稿では,分割認識と制御可能なオブジェクト中心生成をエンドツーエンドフレームワークに統合した統合LVLMであるFOCUSを紹介する。
  論文  参考訳（メタデータ） (2025-06-20T07:46:40Z)
• Distilling Spectral Graph for Object-Context Aware Open-Vocabulary Semantic Segmentation [47.047267066525265]
  画像にオブジェクトレベルの文脈知識を取り入れた新しいアプローチを導入する。 提案手法は,多種多様なデータセットにまたがる高い一般化性を有する最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-26T06:34:48Z)
• Procedure-Aware Surgical Video-language Pretraining with Hierarchical Knowledge Augmentation [51.222684687924215]
  手術用ビデオ言語事前学習は、知識領域のギャップとマルチモーダルデータの不足により、独特な課題に直面している。 本稿では,これらの課題に対処するために,階層的知識向上手法と新しい手術的知識向上型ビデオランゲージ事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-30T22:21:05Z)
• VISA: Reasoning Video Object Segmentation via Large Language Models [64.33167989521357]
  我々は新しいタスク、Reasoning Video Object(ReasonVOS)を導入する。 このタスクは、複雑な推論能力を必要とする暗黙のテキストクエリに応答して、セグメンテーションマスクのシーケンスを生成することを目的としている。 本稿では、ReasonVOSに取り組むためにVISA(ビデオベース大規模言語命令付きアシスタント)を導入する。
  論文  参考訳（メタデータ） (2024-07-16T02:29:29Z)
• Surgical-LVLM: Learning to Adapt Large Vision-Language Model for Grounded Visual Question Answering in Robotic Surgery [15.47190687192761]
  本稿では, 複雑な手術シナリオに適した, パーソナライズされた大規模視覚言語モデルであるオペレーショナル-LVLMを紹介する。 本研究では,EndoVis-17-VQLA,EndoVis-18-VQLA,新たに導入されたEndoVis Conversationsデータセットなど,いくつかのベンチマークにおける手術用LVLMの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-22T08:38:27Z)
• MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting [97.52388851329667]
  我々は,自由形式の言語命令で指定されたロボット操作タスクを解決するために,マーキングオープンワールドキーポイントアフォード(Moka)を導入する。 我々のアプローチの中心は、VLMの観測画像と物理世界におけるロボットの行動に関する予測を橋渡しする、コンパクトな点ベースの可測性表現である。 ツールの使用,変形可能な身体操作,オブジェクト再構成など,さまざまなテーブルトップ操作タスクにおけるMokaの性能評価と解析を行った。
  論文  参考訳（メタデータ） (2024-03-05T18:08:45Z)
• Open-Vocabulary Camouflaged Object Segmentation [66.94945066779988]
  OVCOS(Open-vocabulary camouflaged Object segmentation)を導入した。 我々は11,483個の手選択画像とそれに対応するオブジェクトクラスを含む大規模複合シーンデータセット(textbfOVCamo)を構築した。 クラスセマンティック知識の指導とエッジ情報と深度情報からの視覚構造的手がかりの補足を統合することにより、提案手法は効率よくカモフラージュされたオブジェクトを捕捉できる。
  論文  参考訳（メタデータ） (2023-11-19T06:00:39Z)
• RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
  本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。 提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。 我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
  論文  参考訳（メタデータ） (2023-07-03T13:21:58Z)
• Surgical-VQLA: Transformer with Gated Vision-Language Embedding for Visual Question Localized-Answering in Robotic Surgery [18.248882845789353]
  本研究では,ロボット支援型手術シーンと記録映像からのアクティビティ理解を容易にするための手術質問応答システムを開発した。 既存のVQA手法の多くは、視覚的特徴を抽出し、答え生成のための質問の埋め込みテキストと融合するために、オブジェクト検出器と領域ベースの特徴抽出器を必要とする。 そこで我々は,ロボット手術における視覚的質問の局所化-回答(Surgical-VQLA)を提案し,回答予測中に特定の手術領域を局所化する。
  論文  参考訳（メタデータ） (2023-05-19T14:13:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。