論文の概要: LD-RSVIS: A Large-Scale and Diverse Benchmark for Referring Surgical Video Instrument Segmentation

• arxiv url: http://arxiv.org/abs/2609.23067v1
• Date: Sat, 19 Sep 2026 15:01:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.669449
• Title: LD-RSVIS: A Large-Scale and Diverse Benchmark for Referring Surgical Video Instrument Segmentation
• Title（参考訳）: LD-RSVIS:手術用ビデオ機器セグメンテーションの大規模・多変量ベンチマーク
• Abstract要約: より堅牢で汎用的なRSISを実現するための新しいベンチマークであるLD-RSVISを提案する。 LD-RSVISは、1億9900万フレームの3,536の手術用ビデオで構成され、25のさまざまな手順から30の楽器クラスをカバーしている。 豊富なビデオやクラスを含めることで、LD-RSVISは大規模なトレーニングやより一般的なRSIS手法の評価に役立てることができる。
• 参考スコア（独自算出の注目度）: 26.133552633203408
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Referring surgical video instrument segmentation (RSVIS) aims at segmenting the instrument in a surgical video, given a textual description. Despite recent progress, current models are trained and assessed on relatively small-scale benchmarks, hindering the development of more general RSVIS. In addition, existing benchmarks support only the single-target expression that refers to one instrument in the video, while overlooking multi-target and no-target referring expressions, restricting the applicability of RSVIS in practical scenarios. Addressing these issues, we propose LD-RSVIS, a new benchmark aiming to facilitate more robust and general RSVIS. Specifically, LD-RSVIS consists of 3,536 surgical videos with 1.09 million frames and covers a broad set of 30 instrument classes from 25 various procedures. By including abundant videos and classes, LD-RSVIS could benefit large-scale training and evaluation of more general RSVIS methods. Besides, unlike existing datasets, LD-RSVIS offers diverse referring settings, including no-target, single-target, and multi-target expressions, which enables the development of more practical RSVIS models in real applications. In order to ensure high-quality annotations, all videos in LD-RSVIS are manually labeled with multiple rounds of inspection and refinement. To our knowledge, LD-RSVIS is the largest and most diverse benchmark for RSVIS. To analyze LD-RSVIS and to provide comparison for future research, we evaluate 12 representative methods, and the results reveal that more efforts are required for improvements. To encourage future research, we present a simple yet effective RSVIS method, dubbed Cascade-RSVIS, that first mines target-specific cues using the complementary multi-cue text information and then employs such cues and textual information for segmentation, achieving promising performance. Our benchmark and code will be released.
• Abstract（参考訳）: 外科用ビデオ機器セグメンテーション(RSVIS)の参照は、テキストによる記述から、手術用ビデオ内の機器をセグメンテーションすることを目的としている。 最近の進歩にもかかわらず、現在のモデルは比較的小規模なベンチマークで訓練され評価され、より一般的なRSISの開発を妨げる。 さらに、既存のベンチマークでは、ビデオ内の1つの楽器を参照するシングルターゲット式のみをサポートし、マルチターゲットとノーターゲット参照式を見渡すことで、現実的なシナリオにおけるRSISの適用性を制限している。 これらの問題に対処するため,より堅牢で汎用的なRSISを実現するための新しいベンチマークLD-RSVISを提案する。 具体的には、LD-RSVISは1億9900万フレームの3,536の手術用ビデオで構成され、25のさまざまな手順から30の楽器クラスをカバーしている。 豊富なビデオやクラスを含めることで、LD-RSVISは大規模なトレーニングやより一般的なRSIS手法の評価に役立てることができる。 さらに、既存のデータセットとは異なり、LD-RSVISは、ターゲットなし、単一ターゲット、マルチターゲット表現を含む様々な参照設定を提供しており、実際のアプリケーションでより実用的なRSISモデルの開発を可能にする。 高品質なアノテーションを保証するため、LD-RSVISのすべてのビデオは、手動で複数の検査と改善のラウンドでラベル付けされる。 我々の知る限り、LD-RSVISはRSISの最大かつ最も多様なベンチマークである。 LD-RSVISを解析し,今後の研究との比較を行うため,12種類の代表的手法を評価した結果,改善により多くの努力が必要であることが明らかとなった。 今後の研究を促進するために,まず,補完的なマルチキューテキスト情報を用いてターゲット固有のキューをマイニングし,そのキューとテキスト情報をセグメンテーションに利用して,有望な性能を実現する,Cascade-RSVISというシンプルなRSIS手法を提案する。 ベンチマークとコードはリリースされます。

関連論文リスト

• 4th PVUW MeViS 3rd Place Report: Sa2VA [105.88675577642204]
  より強力なMLLM上でのテスト時間推定法を簡易に修正することで,MeVISのより強力な結果が得られることを示す。 特に,画像とビデオの密接な理解のための統一モデルである,最近のSa2VAを採用する。
  論文  参考訳（メタデータ） (2025-04-01T07:06:47Z)
• Towards Real-Time Open-Vocabulary Video Instance Segmentation [88.04508795121681]
  オープン語彙ビデオインスタンス分割(OV-VIS)をリアルタイムに実行するための新しい手法を提案する。 TROY-VISは2つの大規模OV-VISベンチマークで精度と速度の最良のトレードオフを達成する。 これらの結果は,モバイルロボティクスや拡張現実といった動的環境におけるTROY-VISのリアルタイム応用の可能性を示している。
  論文  参考訳（メタデータ） (2024-12-05T18:53:13Z)
• UVIS: Unsupervised Video Instance Segmentation [65.46196594721545]
  ビデオキャプションインスタンスのセグメンテーションには、ビデオフレームをまたいだすべてのオブジェクトの分類、セグメンテーション、追跡が必要である。 UVISは,ビデオアノテーションや高密度ラベルに基づく事前学習を必要とせずに,ビデオインスタンスのセグメンテーションを行うことのできる,新しいUnsupervised Video Instance (UVIS) フレームワークである。 本フレームワークは,フレームレベルの擬似ラベル生成,トランスフォーマーベースのVISモデルトレーニング,クエリベースのトラッキングという3つの重要なステップで構成されている。
  論文  参考訳（メタデータ） (2024-06-11T03:05:50Z)
• DVIS++: Improved Decoupled Framework for Universal Video Segmentation [30.703276476607545]
  我々は,最初のオープン語彙ユニバーサルビデオセグメンテーションフレームワークであるOV-DVIS++を提案する。 CLIPとDVIS++を統合することで、最初のオープン語彙のユニバーサルビデオセグメンテーションフレームワークであるOV-DVIS++を提案する。
  論文  参考訳（メタデータ） (2023-12-20T03:01:33Z)
• NOVIS: A Case for End-to-End Near-Online Video Instance Segmentation [22.200700685751826]
  ビデオインスタンス(VIS)コミュニティは、オフラインメソッドは一般的にオンライン処理によってフレームよりも優れているという共通の信念の下で運営されている。 本稿では、異なる処理パラダイムの詳細な分析と、新しいエンドツーエンドビデオインスタンス法を提案する。 我々のNOVISは、手作りの追跡を避ける最初のニアオンラインVISアプローチである。
  論文  参考訳（メタデータ） (2023-08-29T12:51:04Z)
• A Generalized Framework for Video Instance Segmentation [49.41441806931224]
  ビデオインスタンスセグメンテーション(VIS)コミュニティでは,複雑なシーケンスと隠蔽シーケンスによる長いビデオの処理が,新たな課題として浮上している。 我々は、挑戦的なベンチマーク上で最先端のパフォーマンスを達成するための、VISの一般化されたフレームワーク、すなわちGenVISを提案する。 我々は、YouTube-VIS 2019/2021/2022およびOccluded VIS (OVIS)上で、人気VISベンチマークに対する我々のアプローチを評価した。
  論文  参考訳（メタデータ） (2022-11-16T11:17:19Z)
• Crossover Learning for Fast Online Video Instance Segmentation [53.5613957875507]
  本稿では,現在のフレームのインスタンス特徴を用いて,他のフレームで同じインスタンスをピクセル単位でローカライズする,新しいクロスオーバー学習方式を提案する。 私たちの知る限り、CrossVISはすべてのオンラインVISメソッドの中で最先端のパフォーマンスを達成し、レイテンシと精度の適切なトレードオフを示します。
  論文  参考訳（メタデータ） (2021-04-13T06:47:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。