論文の概要: Challenging Vision-Language Models with Surgical Data: A New Dataset and Broad Benchmarking Study

• arxiv url: http://arxiv.org/abs/2506.06232v1
• Date: Fri, 06 Jun 2025 16:53:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.558095
• Title: Challenging Vision-Language Models with Surgical Data: A New Dataset and Broad Benchmarking Study
• Title（参考訳）: 手術データを用いた視覚言語モデルの作成:新しいデータセットと広範ベンチマークによる検討
• Authors: Leon Mayer, Tim Rädsch, Dominik Michael, Lucas Luttner, Amine Yamlahi, Evangelia Christodoulou, Patrick Godau, Marcel Knopp, Annika Reinke, Fiona Kolbinger, Lena Maier-Hein,
• Abstract要約: 本研究は,視覚言語モデル(VLM)の内視鏡的課題に対する能力を評価するための大規模な研究である。 さまざまな最先端モデル、複数の外科的データセット、広範囲な人間の参照アノテーションを用いて、3つの重要な研究課題に対処する。 以上の結果から,VLMはオブジェクトカウントやローカライゼーションなどの基本的な外科的知覚タスクを,一般的なドメインタスクに匹敵するパフォーマンスレベルで効果的に行うことができることがわかった。
• 参考スコア（独自算出の注目度）: 0.6120768859742071
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While traditional computer vision models have historically struggled to generalize to endoscopic domains, the emergence of foundation models has shown promising cross-domain performance. In this work, we present the first large-scale study assessing the capabilities of Vision Language Models (VLMs) for endoscopic tasks with a specific focus on laparoscopic surgery. Using a diverse set of state-of-the-art models, multiple surgical datasets, and extensive human reference annotations, we address three key research questions: (1) Can current VLMs solve basic perception tasks on surgical images? (2) Can they handle advanced frame-based endoscopic scene understanding tasks? and (3) How do specialized medical VLMs compare to generalist models in this context? Our results reveal that VLMs can effectively perform basic surgical perception tasks, such as object counting and localization, with performance levels comparable to general domain tasks. However, their performance deteriorates significantly when the tasks require medical knowledge. Notably, we find that specialized medical VLMs currently underperform compared to generalist models across both basic and advanced surgical tasks, suggesting that they are not yet optimized for the complexity of surgical environments. These findings highlight the need for further advancements to enable VLMs to handle the unique challenges posed by surgery. Overall, our work provides important insights for the development of next-generation endoscopic AI systems and identifies key areas for improvement in medical visual language models.
• Abstract（参考訳）: 従来のコンピュータビジョンモデルは、歴史的に内視鏡領域への一般化に苦慮してきたが、基礎モデルの出現は、有望なクロスドメインパフォーマンスを示している。 本研究は,腹腔鏡下手術に焦点を当てた内視鏡手術における視覚言語モデル(VLM)の能力を評価する最初の大規模研究である。 さまざまな最先端モデル、複数の外科的データセット、広範囲な人間の参照アノテーションを用いて、3つの重要な研究課題に対処する。 (2)高度なフレームベースの内視鏡的シーン理解タスクを扱えるか? および(3)専門医用VLMは、この文脈におけるジェネラリストモデルと比較するにはどうすればよいか? 以上の結果から,VLMはオブジェクトカウントやローカライゼーションなどの基本的な外科的知覚タスクを,一般的なドメインタスクに匹敵するパフォーマンスレベルで効果的に行うことができることがわかった。 しかし,これらの課題が医学的知識を必要とすると,その性能は著しく低下する。 特に, 専門医用VLMは, 基礎的, 先進的な外科的作業におけるジェネラリストモデルと比較した場合, 手術環境の複雑さに最適化されていないことが示唆された。 これらの知見は、VLMが手術によって引き起こされる固有の課題に対処できるように、さらなる進歩の必要性を浮き彫りにしている。 全体として、我々の研究は、次世代の内視鏡AIシステムの開発に重要な洞察を与え、医療視覚言語モデルを改善するための重要な領域を特定する。

関連論文リスト

• SurgVLM: A Large Vision-Language Model and Systematic Evaluation Benchmark for Surgical Intelligence [72.10889173696928]
  SurgVLMは,外科的知能に関する最初の大規模視覚言語基盤モデルの一つである。 我々は16種以上の外科的タイプと18の解剖学的構造にまたがる大規模なマルチモーダル手術データベースSurgVLM-DBを構築した。 この包括的データセットに基づいて,Qwen2.5-VLをベースとしたSurgVLMを提案する。
  論文  参考訳（メタデータ） (2025-06-03T07:44:41Z)
• Surgical Foundation Model Leveraging Compression and Entropy Maximization for Image-Guided Surgical Assistance [50.486523249499115]
  低侵襲手術(MIS)におけるリアルタイム映像理解の重要性 手術ビデオからコンパクトで情報的表現を学習するための,新しい自己教師型フレームワークであるCompress-to-Explore (C2E)を提案する。 C2Eは、エントロピー最大化デコーダを使用して、臨床的に関連する詳細を保持しながら画像を圧縮し、ラベル付きデータなしでエンコーダのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2025-05-16T14:02:24Z)
• Benchmarking performance, explainability, and evaluation strategies of vision-language models for surgery: Challenges and opportunities [2.9212404280476267]
  視覚言語モデル(VLM)は、大量の原画像テキストペアで訓練でき、高い適応性を示す。 様々な腹腔鏡的データセットにまたがるいくつかの人気のあるVLMのベンチマーク研究を行う。 その結果, 画像の非関連領域に着目しながら, 予測精度と視覚的グラウンドニングのミスマッチが明らかとなり, モデルが正しい予測を行う可能性が示唆された。
  論文  参考訳（メタデータ） (2025-05-16T00:42:18Z)
• EyecareGPT: Boosting Comprehensive Ophthalmology Understanding with Tailored Dataset, Benchmark and Model [51.66031028717933]
  Med-LVLM(Med-LVLM)は、医療において重要な可能性を示す。 現在、知的眼科診断は、(i)データ、(ii)ベンチマーク、(iii)モデルという3つの大きな課題に直面している。 我々は、前述の3つの課題に対処するEyecare Kitを提案する。
  論文  参考訳（メタデータ） (2025-04-18T12:09:15Z)
• Systematic Evaluation of Large Vision-Language Models for Surgical Artificial Intelligence [1.1765603103920352]
  大規模ビジョンランゲージモデルは、AI駆動の画像理解のための新しいパラダイムを提供する。 この柔軟性は、専門家がアノテートしたデータが不足している医療全体において特に有望である。 本稿では,外科的AIにおける17の視覚的理解課題を対象に,11の最先端VLMの総合的分析を行う。
  論文  参考訳（メタデータ） (2025-04-03T17:42:56Z)
• Guiding Medical Vision-Language Models with Explicit Visual Prompts: Framework Design and Comprehensive Exploration of Prompt Variations [15.052986179046076]
  医用エンティティ抽出,視覚的プロンプト生成,およびデータセット適応を統合した,視覚的プロンプトによる微調整のための先駆的フレームワークであるMedVPを紹介する。 我々は、複数の医療用VQAデータセットにおいて、最新の最先端の大規模モデルを上回る結果を得た。
  論文  参考訳（メタデータ） (2025-01-04T21:23:36Z)
• Surgical-LLaVA: Toward Surgical Scenario Understanding via Large Language and Vision Models [1.4042211166197214]
  手術シナリオに特化して設計されたLVLMについて紹介する。 LVLMモデルであるオペレーショナル・ラヴァを手術シナリオのデータに基づいて微調整した。 外科的ララバは、外科的文脈において、印象的なマルチモーダルチャット能力を示すことを示す実験である。
  論文  参考訳（メタデータ） (2024-10-13T07:12:35Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• Artificial General Intelligence for Medical Imaging Analysis [92.3940918983821]
  大規模人工知能(AGI)モデルは、様々な汎用ドメインタスクにおいて前例のない成功を収めた。 これらのモデルは、医学分野固有の複雑さとユニークな特徴から生じる顕著な課題に直面している。 このレビューは、医療画像、医療などにおけるAGIの将来的な意味についての洞察を提供することを目的としている。
  論文  参考訳（メタデータ） (2023-06-08T18:04:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。