論文の概要: Recognize Any Surgical Object: Unleashing the Power of Weakly-Supervised Data

• arxiv url: http://arxiv.org/abs/2501.15326v1
• Date: Sat, 25 Jan 2025 21:01:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:56:36.956228
• Title: Recognize Any Surgical Object: Unleashing the Power of Weakly-Supervised Data
• Title（参考訳）: あらゆる外科的対象を認識する: 弱めに監督されたデータのパワーを解放する
• Authors: Jiajie Li, Brian R Quaranto, Chenhui Xu, Ishan Mishra, Ruiyang Qin, Dancheng Liu, Peter C W Kim, Jinjun Xiong,
• Abstract要約: RASOは外科的対象を認識するために設計された基礎モデルである。 大規模な未発表の外科的講義ビデオからタグと画像のペアを自動生成する。 外科的行動認識タスクの最先端モデルを上回る。
• 参考スコア（独自算出の注目度）: 15.00025814170182
• License:
• Abstract: We present RASO, a foundation model designed to Recognize Any Surgical Object, offering robust open-set recognition capabilities across a broad range of surgical procedures and object classes, in both surgical images and videos. RASO leverages a novel weakly-supervised learning framework that generates tag-image-text pairs automatically from large-scale unannotated surgical lecture videos, significantly reducing the need for manual annotations. Our scalable data generation pipeline gatherers to 2,200 surgical procedures and produces 3.6 million tag annotations across 2,066 unique surgical tags. Our experiments show that RASO achieves improvements of 2.9 mAP, 4.5 mAP, 10.6 mAP, and 7.2 mAP on four standard surgical benchmarks respectively in zero-shot settings, and surpasses state-of-the-art models in supervised surgical action recognition tasks. We will open-source our code, model, and dataset to facilitate further research.
• Abstract（参考訳）: 外科的対象を認識するための基礎モデルであるRASOについて述べる。外科的画像とビデオの両方において、広範囲の外科的処置および対象クラスにわたって堅牢なオープンセット認識機能を提供する。 RASOは、大規模な未発表の外科的講義ビデオからタグ-画像-テキストペアを自動的に生成し、手動アノテーションの必要性を大幅に低減する、新しい弱い教師付き学習フレームワークを活用している。 我々のスケーラブルなデータ生成パイプラインの収集者は2200の外科的処置に移行し、2,066のユニークな外科的タグに対して360万のタグアノテーションを生成する。 以上の結果から, RASOは, ゼロショット環境での4つの標準手術ベンチマークにおいて, 2.9 mAP, 4.5 mAP, 10.6 mAP, 7.2 mAPの改善を達成し, 外科的行動認識タスクにおける最先端モデルを上回った。 私たちは、さらなる研究を促進するために、コード、モデル、データセットをオープンソース化します。

関連論文リスト

• SURGIVID: Annotation-Efficient Surgical Video Object Discovery [42.16556256395392]
  手術シーンのセマンティックセグメンテーションのためのアノテーション効率のよいフレームワークを提案する。 我々は,画像に基づく自己監督型物体発見法を用いて,外科的ビデオにおいて最も有能なツールや解剖学的構造を同定する。 完全教師付きセグメンテーションモデルを用いて,36のアノテーションラベルで強化した無教師付きセットアップでは,同程度のローカライゼーション性能を示す。
  論文  参考訳（メタデータ） (2024-09-12T07:12:20Z)
• Think Step by Step: Chain-of-Gesture Prompting for Error Detection in Robotic Surgical Videos [18.106255939686545]
  このレターでは、新しいエンドツーエンドエラー検出フレームワークであるChain-of-Thought(COG)のプロンプトを提示する。 これは、専門家外科医の意思決定プロセスを模倣するために設計された2つの推論モジュールを含んでいる。 本手法は,F1スコアの4.6%,精度の4.6%,ジャカード指数の5.9%,各フレームを平均6.69ミリ秒で処理しながら,外科的活動に固有の推論過程をカプセル化する。
  論文  参考訳（メタデータ） (2024-06-27T14:43:50Z)
• OSSAR: Towards Open-Set Surgical Activity Recognition in Robot-assisted Surgery [13.843251369739908]
  本稿では,OSSAR(Open-Set Surgery Activity Recognition)フレームワークについて紹介する。 提案手法は超球面逆点戦略を利用して特徴空間における未知クラスと未知クラスとの区別を強化する。 我々の主張をサポートするために、公開JIGSAWSデータセットを利用したオープンセットの外科的活動ベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-02-10T16:23:12Z)
• SAR-RARP50: Segmentation of surgical instrumentation and Action Recognition on Robot-Assisted Radical Prostatectomy Challenge [72.97934765570069]
  外科的動作認識と意味計測のセグメンテーションのための,最初のマルチモーダルなインビボデータセットを公開し,ロボット補助根治術(RARP)の50の縫合ビデオセグメントを収録した。 この課題の目的は、提供されたデータセットのスケールを活用し、外科領域における堅牢で高精度なシングルタスクアクション認識とツールセグメンテーションアプローチを開発することである。 合計12チームがこのチャレンジに参加し、7つのアクション認識方法、9つの計器のセグメンテーション手法、そしてアクション認識と計器のセグメンテーションを統合した4つのマルチタスクアプローチをコントリビュートした。
  論文  参考訳（メタデータ） (2023-12-31T13:32:18Z)
• SAMSNeRF: Segment Anything Model (SAM) Guides Dynamic Surgical Scene Reconstruction by Neural Radiance Field (NeRF) [4.740415113160021]
  本稿では,Segment Anything Model(SAM)とNeRF技術を組み合わせたSAMSNeRFという新しい手法を提案する。 内視鏡下外科的画像を用いた実験の結果,高忠実度ダイナミックな手術シーンの再構築に成功していることが示された。
  論文  参考訳（メタデータ） (2023-08-22T20:31:00Z)
• GLSFormer : Gated - Long, Short Sequence Transformer for Step Recognition in Surgical Videos [57.93194315839009]
  本稿では,シーケンスレベルのパッチから時間的特徴を直接学習するための視覚変換器に基づくアプローチを提案する。 本研究では,白内障手術用ビデオデータセットである白内障-101とD99に対するアプローチを広範に評価し,各種の最先端手法と比較して優れた性能を示した。
  論文  参考訳（メタデータ） (2023-07-20T17:57:04Z)
• Next-generation Surgical Navigation: Marker-less Multi-view 6DoF Pose Estimation of Surgical Instruments [66.74633676595889]
  静止カメラとヘッドマウントカメラを組み合わせたマルチカメラ・キャプチャー・セットアップを提案する。 第2に,手術用ウェットラボと実際の手術用劇場で撮影された元脊椎手術のマルチビューRGB-Dビデオデータセットを公表した。 第3に,手術器具の6DoFポーズ推定の課題に対して,最先端のシングルビューとマルチビューの3つの手法を評価した。
  論文  参考訳（メタデータ） (2023-05-05T13:42:19Z)
• Dissecting Self-Supervised Learning Methods for Surgical Computer Vision [51.370873913181605]
  一般のコンピュータビジョンコミュニティでは,自己監視学習(SSL)手法が普及し始めている。 医学や手術など、より複雑で影響力のある領域におけるSSLメソッドの有効性は、限定的かつ未調査のままである。 外科的文脈理解,位相認識,ツール存在検出の2つの基本的なタスクに対して,これらの手法の性能をColec80データセット上で広範囲に解析する。
  論文  参考訳（メタデータ） (2022-07-01T14:17:11Z)
• CholecTriplet2021: A benchmark challenge for surgical action triplet recognition [66.51610049869393]
  腹腔鏡下手術における三肢の認識のためにMICCAI 2021で実施した内視鏡的視力障害であるColecTriplet 2021を提案する。 課題の参加者が提案する最先端の深層学習手法の課題設定と評価について述べる。 4つのベースライン法と19の新しいディープラーニングアルゴリズムが提示され、手術ビデオから直接手術行動三重項を認識し、平均平均精度(mAP)は4.2%から38.1%である。
  論文  参考訳（メタデータ） (2022-04-10T18:51:55Z)
• 4D-OR: Semantic Scene Graphs for OR Domain Modeling [72.1320671045942]
  本稿では,手術シーンを記述・要約するために意味シーングラフ(SSG)を提案する。 シーングラフのノードは、医療スタッフ、患者、医療機器など、部屋内のさまざまなアクターやオブジェクトを表す。 人工膝置換手術を10回行った4D-ORデータセットを作成した。
  論文  参考訳（メタデータ） (2022-03-22T17:59:45Z)
• Towards Unified Surgical Skill Assessment [18.601526803020885]
  自動手術スキル評価のための統合型マルチパスフレームワークを提案する。 手術シミュレーションのJIGSAWSデータセットと腹腔鏡下手術の新たな臨床データセットについて実験を行った。
  論文  参考訳（メタデータ） (2021-06-02T09:06:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。