論文の概要: Rethinking Text-Promptable Surgical Instrument Segmentation with Robust Framework

• arxiv url: http://arxiv.org/abs/2411.12199v3
• Date: Tue, 20 May 2025 07:26:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:51.541956
• Title: Rethinking Text-Promptable Surgical Instrument Segmentation with Robust Framework
• Title（参考訳）: ロバスト・フレームワークによるテキストプロンプタブル手術器具のセグメンテーション再考
• Authors: Tae-Min Choi, Juyoun Park,
• Abstract要約: 我々はRobust text-promptable surgery Instrument (R-SIS)と呼ばれるテキストプロンプタブルなタスクを開発する。 R-SISは、目に見える楽器を参照し、そのような楽器がシーンに明示的に存在している場合にのみマスクを生成するプロンプトを区別する必要がある。 手術用ビデオデータセットを用いたR-SISプロトコルに基づく既存のセグメンテーション手法の評価を行った。
• 参考スコア（独自算出の注目度）: 3.3148826359547514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Surgical instrument segmentation is an essential component of computer-assisted and robotic surgery systems. Vision-based segmentation models typically produce outputs limited to a predefined set of instrument categories, which restricts their applicability in interactive systems and robotic task automation. Promptable segmentation methods allow selective predictions based on textual prompts. However, they often rely on the assumption that the instruments present in the scene are already known, and prompts are generated accordingly, limiting their ability to generalize to unseen or dynamically emerging instruments. In practical surgical environments, where instrument existence information is not provided, this assumption does not hold consistently, resulting in false-positive segmentation. To address these limitations, we formulate a new task called Robust text-promptable Surgical Instrument Segmentation (R-SIS). Under this setting, prompts are issued for all candidate categories without access to instrument presence information. R-SIS requires distinguishing which prompts refer to visible instruments and generating masks only when such instruments are explicitly present in the scene. This setting reflects practical conditions where uncertainty in instrument presence is inherent. We evaluate existing segmentation methods under the R-SIS protocol using surgical video datasets and observe substantial false-positive predictions in the absence of ground-truth instruments. These findings demonstrate a mismatch between current evaluation protocols and real-world use cases, and support the need for benchmarks that explicitly account for prompt uncertainty and instrument absence.
• Abstract（参考訳）: 手術器具のセグメンテーションは、コンピュータ支援およびロボット手術システムにおいて不可欠な要素である。 ビジョンベースのセグメンテーションモデルは、通常、事前に定義された機器カテゴリーのセットに限定された出力を生成し、対話システムやロボットタスク自動化におけるそれらの適用性を制限する。 予測可能なセグメンテーション手法は、テキストのプロンプトに基づいた選択的な予測を可能にする。 しかし、シーンに存在する楽器が既に知られているという仮定に頼り、それに従ってプロンプトが生成され、目に見えない、あるいは動的に出現する機器に一般化する能力に制限される。 楽器の存在情報が提供されていない実用的な手術環境では、この仮定は一貫して成り立たないため、偽陽性のセグメンテーションが生じる。 これらの制約に対処するため、Robust text-promptable Surgery Instrument Segmentation (R-SIS)と呼ばれる新しいタスクを定式化する。 この設定では、機器の存在情報にアクセスせずに、すべての候補カテゴリに対してプロンプトが発行される。 R-SISは、目に見える楽器を参照し、そのような楽器がシーンに明示的に存在している場合にのみマスクを生成するプロンプトを区別する必要がある。 この設定は、楽器の存在の不確実性が固有の現実的な条件を反映している。 手術用ビデオデータセットを用いたR-SISプロトコルに基づく既存のセグメンテーション手法の評価を行った。 これらの結果は、現在の評価プロトコルと実世界のユースケースのミスマッチを示し、即時不確実性と機器の欠如を明示するベンチマークの必要性をサポートする。

関連論文リスト

• CADFormer: Fine-Grained Cross-modal Alignment and Decoding Transformer for Referring Remote Sensing Image Segmentation [18.71422427628054]
  既存のRRSIS法は通常、多モード特徴を得るために粗い一方向アライメントアプローチを用いる。 RRSISのための細粒度なクロスモーダルアライメントとデコードトランスフォーマーCADFormerを提案する。 CADFormerの性能を徹底的に評価するために、より高解像度のRS画像パッチと意味的にリッチな言語表現を含む新しいRRSISデータセットRRSIS-HRを構築した。
  論文  参考訳（メタデータ） (2025-03-30T14:24:30Z)
• Think Before You Segment: High-Quality Reasoning Segmentation with GPT Chain of Thoughts [64.93416171745693]
  ThinkFirstはトレーニング不要の推論セグメンテーションフレームワークである。 我々のアプローチでは、GPT-4oや他の強力なMLLMが画像の詳細なチェーン記述を生成することができる。 この要約された記述は、セグメンテーションプロセスを支援するために言語で指示されたセグメンテーションアシスタントに渡される。
  論文  参考訳（メタデータ） (2025-03-10T16:26:11Z)
• Customized SAM 2 for Referring Remote Sensing Image Segmentation [21.43947114468122]
  本稿では SAM 2 を RRSIS に適応させる新しいフレームワーク RS2-SAM 2 を提案する。 また,テキスト重み付き勾配差の計算により分割境界を最適化するために,テキスト誘導境界損失を導入する。 いくつかのRRSISベンチマークの実験結果は、RS2-SAM 2が最先端の性能を達成することを示した。
  論文  参考訳（メタデータ） (2025-03-10T12:48:29Z)
• RSRefSeg: Referring Remote Sensing Image Segmentation with Foundation Models [24.67117013862316]
  リモートセンシング画像のセグメンテーションの参照は、きめ細かい視覚的理解の実現に不可欠である。 本稿では,参照リモートセンシング画像分割基礎モデルRSRefSegを紹介する。 RRSIS-Dデータセットの実験結果は、RSRefSegが既存の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-01-12T13:22:35Z)
• Scene Graph Generation with Role-Playing Large Language Models [50.252588437973245]
  オープン語彙シーングラフ生成(OVSGG)に対する現在のアプローチは、CLIPのような視覚言語モデルを使用している。 シーン固有の記述に基づくOVSGGフレームワークであるSDSGGを提案する。 対象と対象の複雑な相互作用を捉えるために,相互視覚アダプタと呼ばれる軽量モジュールを提案する。
  論文  参考訳（メタデータ） (2024-10-20T11:40:31Z)
• Exploring Fine-Grained Image-Text Alignment for Referring Remote Sensing Image Segmentation [27.95875467352853]
  本稿では,視覚的および言語的表現を完全に活用する新たな参照リモートセンシング画像分割手法であるFIANetを提案する。 提案した細粒度画像テキストアライメントモジュール(FIAM)は、入力画像と対応するテキストの特徴を同時に活用する。 本稿では,RefSegRSとRRSIS-Dを含む2つのリモートセンシングデータセットに対する提案手法の有効性を評価する。
  論文  参考訳（メタデータ） (2024-09-20T16:45:32Z)
• GroPrompt: Efficient Grounded Prompting and Adaptation for Referring Video Object Segmentation [41.67544072483324]
  Referring Video Object (RVOS) は、ビデオ全体を通してクエリ文によって参照されるオブジェクトをセグメント化することを目的としている。 本稿では,テキスト・アウェア・プロンプト・コントラスト・ラーニング(TAP-CL)を提案する。 提案したTAP-CLにより、GroPromptフレームワークは時間一貫性はあるがテキスト対応の位置プロンプトを生成することができる。
  論文  参考訳（メタデータ） (2024-06-18T17:54:17Z)
• Vision-Aware Text Features in Referring Image Segmentation: From Object Understanding to Context Understanding [26.768147543628096]
  本稿では,人間の認知プロセスに触発された対象と文脈の理解を強調する新しい枠組みを提案する。 提案手法は,3つのベンチマークデータセットにおいて,大幅な性能向上を実現する。
  論文  参考訳（メタデータ） (2024-04-12T16:38:48Z)
• From Text Segmentation to Smart Chaptering: A Novel Benchmark for Structuring Video Transcriptions [63.11097464396147]
  音声コンテンツに焦点をあてた新しいベンチマークYTSegを導入し、その内容は本質的に非構造的であり、トポロジと構造的にも多様である。 また,高効率な階層分割モデルMiniSegを導入する。
  論文  参考訳（メタデータ） (2024-02-27T15:59:37Z)
• Sequential Visual and Semantic Consistency for Semi-supervised Text Recognition [56.968108142307976]
  Scene Text Recognition (STR) は、大規模なアノテートデータを必要とする課題である。 既存のSTR法の多くは、STRモデルの性能を低下させ、ドメイン差を生じさせる合成データに頼っている。 本稿では,視覚的・意味的両面から単語レベルの整合性正則化を取り入れたSTRの半教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2024-02-24T13:00:54Z)
• SurgicalPart-SAM: Part-to-Whole Collaborative Prompting for Surgical Instrument Segmentation [66.21356751558011]
  Segment Anything Model (SAM)は、ジェネリックオブジェクトセグメンテーションの約束を示し、様々なアプリケーションに可能性を提供します。 既存の方法では、SAMベースのフレームワークを手術データにチューニングすることで、手術器具セグメンテーション(SIS)にSAMを適用している。 本稿では,楽器構造知識をSAMの汎用知識と明確に統合する新しいSAM効率的なチューニング手法であるStuial Part-SAMを提案する。
  論文  参考訳（メタデータ） (2023-12-22T07:17:51Z)
• Open-Vocabulary Camouflaged Object Segmentation [66.94945066779988]
  OVCOS(Open-vocabulary camouflaged Object segmentation)を導入した。 我々は11,483個の手選択画像とそれに対応するオブジェクトクラスを含む大規模複合シーンデータセット(textbfOVCamo)を構築した。 クラスセマンティック知識の指導とエッジ情報と深度情報からの視覚構造的手がかりの補足を統合することにより、提案手法は効率よくカモフラージュされたオブジェクトを捕捉できる。
  論文  参考訳（メタデータ） (2023-11-19T06:00:39Z)
• LLM Blueprint: Enabling Text-to-Image Generation with Complex and Detailed Prompts [60.54912319612113]
  拡散に基づく生成モデルは、テキストと画像の生成が著しく進歩するが、長く複雑なテキストプロンプトを処理する際には困難に直面する。 本稿では,Large Language Models (LLM) を利用してテキストプロンプトから重要なコンポーネントを抽出する手法を提案する。 複数のオブジェクトを特徴とする複雑なプロンプトの評価は,ベースライン拡散モデルと比較して,リコールの大幅な改善を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:57:37Z)
• STEP -- Towards Structured Scene-Text Spotting [9.339184886724812]
  そこで本研究では,構造化シーンテキストスポッティングタスクを導入し,クエリの正規表現に従って,野生のテキストをスポッティングするシーンテキストOCRシステムを提案する。 提案するStructured TExt sPotter (STEP) は,OCRプロセスのガイドとして提供されるテキスト構造を利用するモデルである。 提案手法により,様々な実世界の読解シナリオにおけるゼロショット構造化テキストスポッティングの精度が向上する。
  論文  参考訳（メタデータ） (2023-09-05T16:11:54Z)
• ViTEraser: Harnessing the Power of Vision Transformers for Scene Text Removal with SegMIM Pretraining [58.241008246380254]
  シーンテキスト除去(STR)は、自然のシーンにおけるテキストストロークを視覚的に一貫性のある背景に置き換えることを目的としている。 最近のSTRアプローチは反復的な改善や明示的なテキストマスクに依存しており、結果としてテキストローカライゼーションの精度に高い複雑さと感度をもたらす。 そこで我々は, ViTEraser という, 単純なyet- Effective ViT-based text eraser を提案する。
  論文  参考訳（メタデータ） (2023-06-21T08:47:20Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Contextual Text Block Detection towards Scene Text Understanding [85.40898487745272]
  本稿では,シーン中のテキストをよりよく理解するためのコンテキストテキストブロック(CTB)を新たに検出する,コンテキストテキスト検出手法を提案する。 本稿では、まずテキスト単位を検出し、次にCTBにグループ化する二重検出タスクにより、新しい設定を定式化する。 そこで本研究では,統合テキスト単位をトークンとして扱うシーンテキストクラスタリング手法を設計し,それらを(同じCTBに延長する)順序付きトークンシーケンスにグループ化する。
  論文  参考訳（メタデータ） (2022-07-26T14:59:25Z)
• TraSeTR: Track-to-Segment Transformer with Contrastive Query for Instance-level Instrument Segmentation in Robotic Surgery [60.439434751619736]
  そこで我々は,TraSeTRを提案する。TraSeTR,TraSeTR,Trace-to-Segment Transformerは,手術器具のセグメンテーションを支援する。 TraSeTRは、機器の種類、位置、アイデンティティとインスタンスレベルの予測を共同で理由付けている。 提案手法の有効性を,3つの公開データセットに対して,最先端の計器型セグメンテーション結果を用いて実証した。
  論文  参考訳（メタデータ） (2022-02-17T05:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。