論文の概要: From Presence Labels to Bounding Boxes: Can Multimodal Large Language Models Scale Surgical Instrument Localization?

• arxiv url: http://arxiv.org/abs/2610.34218v1
• Date: Sun, 25 Oct 2026 11:18:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.561118
• Title: From Presence Labels to Bounding Boxes: Can Multimodal Large Language Models Scale Surgical Instrument Localization?
• Title（参考訳）: プレゼンスラベルからバウンディングボックスへ:多モーダル大言語モデルは手術機器の局在をスケールできるか?
• Abstract要約: バウンディングボックスアノテーションによる手術器具の空間的局在化は外科的シーン理解の基礎的な構成要素である。 手術用フレームや既存の楽器表示ラベルを正確なバウンディングボックスに変換する,スケーラブルなMLLMベースのアノテーションフレームワークを設計する。 80ビデオから184,498の注釈付きフレーム全体にわたる285,977個のバウンディングボックスからなるColec80の空間拡張をリリースする。
• 参考スコア（独自算出の注目度）: 0.7187172084738869
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatial localization of surgical instruments through bounding-box annotations is a foundational component of surgical scene understanding, supporting detection, tracking, interaction analysis, and grounded vision-language applications. Yet existing annotations often cover selected frames, video subsets, or dataset variants rather than complete procedures. Manual extension is time-consuming and expert-dependent. Additionally, weakly supervised and detector-based pseudo-labels require task-specific training and may be imprecise. In this study, we design a scalable MLLM-based annotation framework that converts surgical frames and existing instrument-presence labels into accurate bounding boxes, and systematically analyze its reliability, cost, and design sensitivity. We instantiate the framework using six MLLMs and a multi-call configuration on laparoscopic cholecystectomy in Cholec80. Using a carefully designed stratification scheme, two annotators independently label 1,000 frames, and an expert surgeon reviews one annotation set to establish the reference. Results show that instrument-set F1 ranges from 88.2 to 92.7,whereas mIoU ranges from 0.180 to 0.735, showing that comparable recognition can conceal large localization differences. A structured multi-stage annotation pipeline achieves 0.784 mIoU, compared with 0.735 for the best single-call baseline and 0.814 human-human agreement. Using the best accuracy pipeline, we create and publicly release a spatial extension of Cholec80 comprising 285,977 bounding boxes across all 184,498 annotated frames from the 80 videos. The annotations and human references are made available on GitHub
• Abstract（参考訳）: バウンディングボックスアノテーションによる手術器具の空間的局在化は、手術シーン理解の基礎的な構成要素であり、検出、追跡、相互作用分析、接地された視覚言語アプリケーションをサポートする。 しかし、既存のアノテーションは、選択されたフレーム、ビデオサブセット、あるいは完全なプロシージャではなくデータセットの変種をカバーしていることが多い。 手作業の拡張は時間がかかり、専門家に依存します。 さらに、弱い監督と検出器に基づく擬似ラベルはタスク固有の訓練を必要とし、不正確である可能性がある。 本研究では,手術用フレームと既存の楽器表示ラベルを正確なバウンディングボックスに変換するスケーラブルなMLLMベースのアノテーションフレームワークを設計し,その信頼性,コスト,設計感度を体系的に解析する。 Cholec80の腹腔鏡下胆嚢摘出術において,MLLMを6回使用し,マルチコール構成を施行した。 慎重に設計された階層化スキームを用いて、2つのアノテーションは独立して1000フレームをラベル付けし、専門家外科医は基準を確立するためにセットされた1つのアノテーションをレビューする。 その結果、計器セットのF1は88.2から92.7の範囲であり、mIoUは0.180から0.735の範囲であり、同等の認識は大きな局所化差を隠蔽できることを示した。 構造化されたマルチステージアノテーションパイプラインは0.784 mIoUを達成し、最高の単一呼び出しベースラインでは0.735、人間と人間との合意では0.814となる。 最適な精度パイプラインを用いて、80ビデオから184,498の注釈付きフレーム全体にわたる285,977のバウンディングボックスからなるColec80の空間拡張を作成し、公開する。 アノテーションとヒューマンリファレンスはGitHubで公開されている

関連論文リスト

• Custom Named Entity Recognition and Topic Classification for Global Health Publications [0.3823356975862005]
  この論文は、セマンティックタグ発見、名前付きエンティティ認識(NER)、マルチラベルトピック分類の実験を通じて課題を調査する。 まず, プログレッシブな特殊コーパスをトレーニングしたスキップグラム word2vec モデルを BioWordVec と比較し, コーパスサイズとドメインコンテキストがタグ発見に与える影響を評価する。 この分析結果はエンティティ抽出に変わり、1000の注釈付き文で畳み込みのspurCyモデルとRoBERTaベースの変換器を比較した。
  論文  参考訳（メタデータ） (2026-09-21T14:09:53Z)
• Expert-like Bone Ultrasound Segmentation through Expert-in-the-loop Mask-conditioned Progressive Learning [0.0]
  ExiLはマスク条件のプログレッシブラーニングフレームワークである。 それは、アメリカの画像から不完全なマスクを完成させ、洗練することを学ぶ。 1フレームあたり60秒から20秒に短縮される。
  論文  参考訳（メタデータ） (2026-08-31T23:24:42Z)
• ASTRA-Net: Anatomy-Specific Transfer and Representation Alignment for Drug-Induced Sleep Endoscopy Segmentation [28.923055080999884]
  量的薬物誘発睡眠内視鏡(DISE)は、特定の解剖学的レベルにおいて、信頼性の高い気道境界を必要とする。 実アノテーションを限定した既知の平面disEセグメンテーションのためのASTRA-Netを開発した。 ASTRA-Netは、実際のアノテーションが制限されている場合、フレームレベル、平面固有のDIE境界記述をサポートすることができる。
  論文  参考訳（メタデータ） (2026-07-23T14:37:17Z)
• DocAtlas: Multilingual Document Understanding Across 80+ Languages [58.715440331861295]
  本稿では,82言語を対象とした高忠実度OCRデータセットとベンチマークを構築するフレームワークDocAtlasを紹介する。 我々のデュアルパイプライン、ネイティブDOCX文書の微分レンダリング、左右スクリプトの合成ベース生成は正確な構造アノテーションを生成する。
  論文  参考訳（メタデータ） (2026-05-12T18:09:38Z)
• UniSurgSAM: A Unified Promptable Model for Reliable Surgical Video Segmentation [18.74680721916099]
  視覚的,テキスト的,あるいは音声的プロンプトによる信頼性の高い手術ビデオ分割を可能にする統合PVOSモデルUniSurgSAMを提案する。 本稿では,幻覚の抑制を目的とした存在認識復号法,拡張シーケンス上のマスクドリフトを防止する境界認識長期追跡法,障害回復のための段階間のループを閉じる適応状態遷移の3つの重要な設計を提案する。 UniSurgSAMは、あらゆる急進的なモダリティと粒度にわたる最先端のパフォーマンスをリアルタイムで達成し、コンピュータ支援手術の実践的な基盤を提供する。
  論文  参考訳（メタデータ） (2026-04-04T08:44:10Z)
• Scaling Video Pretraining for Surgical Foundation Models [51.92777479821822]
  SurgRecは、スケーラブルで再現可能な、外科的ビデオ理解のための事前学習のレシピだ。 内視鏡,腹腔鏡,白内障,ロボット手術を対象とする10,535ビデオと214.5Mフレームの大規模なコーパスをキュレートした。
  論文  参考訳（メタデータ） (2026-03-31T16:31:25Z)
• ProstaTD: Bridging Surgical Triplet from Classification to Fully Supervised Detection [54.270188252068145]
  ProstaTDは、ロボット補助前立腺切除術の技術的要求領域から開発された、外科的三重項検出のための大規模なデータセットである。 このデータセットは、71,775の動画フレームと196,490の注釈付きトリプルトインスタンスで構成され、複数の機関で実施された21の手術から収集された。 ProstaTDは、これまでで最大かつ最も多様な3重項データセットであり、単純な分類から正確な空間的境界と時間的境界を持つ完全な検出へとフィールドを移動している。
  論文  参考訳（メタデータ） (2025-06-01T19:29:39Z)
• DescriptorMedSAM: Language-Image Fusion with Multi-Aspect Text Guidance for Medical Image Segmentation [10.598528392988062]
  本稿では,MedSAMの軽量拡張であるDescriptorMedSAMを提案する。 DescriptorMedSAMはCLIPテキストエンコーダを使用して、放射線学スタイルのディスクリプタを密度の高い埋め込みに変換する。 我々は、構造化言語プロンプトが空間的相互作用を効果的に置き換え、強力なゼロショット性能と高速な少数ショット適応を実現することを実証した。
  論文  参考訳（メタデータ） (2025-03-18T01:35:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。