論文の概要: Can DeepSeek Reason Like a Surgeon? An Empirical Evaluation for Vision-Language Understanding in Robotic-Assisted Surgery

• arxiv url: http://arxiv.org/abs/2503.23130v3
• Date: Fri, 04 Apr 2025 02:45:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 12:23:43.924583
• Title: Can DeepSeek Reason Like a Surgeon? An Empirical Evaluation for Vision-Language Understanding in Robotic-Assisted Surgery
• Title（参考訳）: DeepSeek Reasonは外科医のように見えるか? ロボット支援手術における視覚言語理解の実証的評価
• Authors: Boyi Ma, Yanguang Zhao, Jie Wang, Guankun Wang, Kun Yuan, Tong Chen, Long Bai, Hongliang Ren,
• Abstract要約: ロボット手術シナリオにおけるDeepSeekモデルの対話機能について検討する。 実験により,DeepSeek-VL2は,既存の汎用多目的大言語モデルと比較して,複雑な理解タスクにおいて優れた性能を発揮することが示された。 DeepSeek-V3は純粋に言語モデルであるが,画像トークンを直接入力すると,単一文QAタスクのパフォーマンスが向上することがわかった。
• 参考スコア（独自算出の注目度）: 17.728772280544444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The DeepSeek models have shown exceptional performance in general scene understanding, question-answering (QA), and text generation tasks, owing to their efficient training paradigm and strong reasoning capabilities. In this study, we investigate the dialogue capabilities of the DeepSeek model in robotic surgery scenarios, focusing on tasks such as Single Phrase QA, Visual QA, and Detailed Description. The Single Phrase QA tasks further include sub-tasks such as surgical instrument recognition, action understanding, and spatial position analysis. We conduct extensive evaluations using publicly available datasets, including EndoVis18 and CholecT50, along with their corresponding dialogue data. Our empirical study shows that, compared to existing general-purpose multimodal large language models, DeepSeek-VL2 performs better on complex understanding tasks in surgical scenes. Additionally, although DeepSeek-V3 is purely a language model, we find that when image tokens are directly inputted, the model demonstrates better performance on single-sentence QA tasks. However, overall, the DeepSeek models still fall short of meeting the clinical requirements for understanding surgical scenes. Under general prompts, DeepSeek models lack the ability to effectively analyze global surgical concepts and fail to provide detailed insights into surgical scenarios. Based on our observations, we argue that the DeepSeek models are not ready for vision-language tasks in surgical contexts without fine-tuning on surgery-specific datasets.
• Abstract（参考訳）: DeepSeekモデルは、効率的なトレーニングパラダイムと強力な推論能力のため、一般的なシーン理解、質問応答(QA)、テキスト生成タスクにおいて、例外的なパフォーマンスを示している。 本研究では,ロボット手術シナリオにおけるDeepSeekモデルの対話能力について検討し,単一フレーズQA,視覚的QA,詳細記述などのタスクに着目した。 単句QAタスクには、手術器具認識、行動理解、空間的位置分析などのサブタスクも含まれている。 本研究では,EndoVis18 や CholecT50 などの公開データセットと対応する対話データを用いて,広範囲な評価を行う。 従来の汎用多目的大言語モデルと比較して,DeepSeek-VL2は手術シーンにおける複雑な理解作業に優れていた。 さらに,DeepSeek-V3は純粋に言語モデルであるが,画像トークンを直接入力すると,単一文QAタスクのパフォーマンスが向上することがわかった。 しかし、全体としては、DeepSeekモデルは手術シーンを理解するための臨床要件を満たしていない。 一般的なプロンプトの下では、DeepSeekモデルには、グローバルな外科的概念を効果的に分析する能力がなく、外科的シナリオに関する詳細な洞察を提供することができない。 以上の結果から,DeepSeekモデルでは,手術固有のデータセットを微調整することなく,手術コンテキストにおける視覚言語タスクの用意が整っていないことが示唆された。

関連論文リスト

• Surgeons vs. Computer Vision: A comparative analysis on surgical phase recognition capabilities [65.66373425605278]
  自動手術相認識(SPR)は、人工知能(AI)を使用して、手術ワークフローをその重要なイベントに分割する。 従来の研究は、短い外科手術と直線的な外科手術に焦点を合わせており、時間的文脈が手術の段階をよりよく分類する専門家の能力に影響を与えるかどうかを探索していない。 本研究は,ロボットによる部分腎切除(RAPN)を高度に非直線的に行うことに焦点を当て,これらのギャップに対処する。
  論文  参考訳（メタデータ） (2025-04-26T15:37:22Z)
• Systematic Evaluation of Large Vision-Language Models for Surgical Artificial Intelligence [1.1765603103920352]
  大規模ビジョンランゲージモデルは、AI駆動の画像理解のための新しいパラダイムを提供する。 この柔軟性は、専門家がアノテートしたデータが不足している医療全体において特に有望である。 本稿では,外科的AIにおける17の視覚的理解課題を対象に,11の最先端VLMの総合的分析を行う。
  論文  参考訳（メタデータ） (2025-04-03T17:42:56Z)
• EndoChat: Grounded Multimodal Large Language Model for Endoscopic Surgery [52.992415247012296]
  手術シーン理解における対話のパラダイムやサブタスクに対処するために,EndoChatを導入する。 本モデルは,5つの対話パラダイムと8つの手術シーン理解タスクにまたがって,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-01-20T09:12:06Z)
• OphCLIP: Hierarchical Retrieval-Augmented Learning for Ophthalmic Surgical Video-Language Pretraining [60.75854609803651]
  OphCLIPは、眼科手術ワークフロー理解のための階層的検索強化視覚言語事前学習フレームワークである。 OphCLIPは、短いビデオクリップと詳細な物語記述、構造化タイトルによるフルビデオの調整によって、細粒度と長期の視覚表現の両方を学習する。 我々のOphCLIPは、探索されていない大規模なサイレント手術ビデオを活用するために、検索強化事前訓練フレームワークも設計している。
  論文  参考訳（メタデータ） (2024-11-23T02:53:08Z)
• Surgical-LLaVA: Toward Surgical Scenario Understanding via Large Language and Vision Models [1.4042211166197214]
  手術シナリオに特化して設計されたLVLMについて紹介する。 LVLMモデルであるオペレーショナル・ラヴァを手術シナリオのデータに基づいて微調整した。 外科的ララバは、外科的文脈において、印象的なマルチモーダルチャット能力を示すことを示す実験である。
  論文  参考訳（メタデータ） (2024-10-13T07:12:35Z)
• Procedure-Aware Surgical Video-language Pretraining with Hierarchical Knowledge Augmentation [51.222684687924215]
  手術用ビデオ言語事前学習は、知識領域のギャップとマルチモーダルデータの不足により、独特な課題に直面している。 本稿では,これらの課題に対処するために,階層的知識向上手法と新しい手術的知識向上型ビデオランゲージ事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-30T22:21:05Z)
• Surgical-VQLA++: Adversarial Contrastive Learning for Calibrated Robust Visual Question-Localized Answering in Robotic Surgery [12.21083362663014]
  医用視覚質問応答(VQA)は、視覚情報と臨床的意思決定のギャップを埋める。 特に、外科的VQAは、正確な診断、効果的な教育、臨床介入を補助し、外科的データの解釈を強化することができる。 本稿では,外科的画像に関する特定のクエリに対して,精密かつコンテキスト認識の応答を行うために,外科的視覚的質問応答(VQLA)を提案する。
  論文  参考訳（メタデータ） (2024-08-09T09:23:07Z)
• GP-VLS: A general-purpose vision language model for surgery [0.5249805590164902]
  GP-VLSは手術のための汎用視覚言語モデルである。 医学的および外科的知識と視覚的シーン理解を統合している。 GP-VLSは,手術用視覚言語タスクにおいて,オープンソースモデルやクローズドソースモデルよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-07-27T17:27:05Z)
• Surgical-LVLM: Learning to Adapt Large Vision-Language Model for Grounded Visual Question Answering in Robotic Surgery [15.47190687192761]
  本稿では, 複雑な手術シナリオに適した, パーソナライズされた大規模視覚言語モデルであるオペレーショナル-LVLMを紹介する。 本研究では,EndoVis-17-VQLA,EndoVis-18-VQLA,新たに導入されたEndoVis Conversationsデータセットなど,いくつかのベンチマークにおける手術用LVLMの有効性を示す。
  論文  参考訳（メタデータ） (2024-03-22T08:38:27Z)
• Learning Multi-modal Representations by Watching Hundreds of Surgical Video Lectures [50.09187683845788]
  手術用コンピュータビジョンの応用の最近の進歩は、視覚のみのモデルによって駆動されている。 これらの手法は、固定されたオブジェクトカテゴリのセットを予測するために手動で注釈付き手術ビデオに依存する。 本研究では,オープンな外科的eラーニングプラットフォームを通じて提供される外科的ビデオ講義が,効果的な視覚と言語監督の信号を提供することができるという考えを提起した。
  論文  参考訳（メタデータ） (2023-07-27T22:38:12Z)
• Surgical-VQLA: Transformer with Gated Vision-Language Embedding for Visual Question Localized-Answering in Robotic Surgery [18.248882845789353]
  本研究では,ロボット支援型手術シーンと記録映像からのアクティビティ理解を容易にするための手術質問応答システムを開発した。 既存のVQA手法の多くは、視覚的特徴を抽出し、答え生成のための質問の埋め込みテキストと融合するために、オブジェクト検出器と領域ベースの特徴抽出器を必要とする。 そこで我々は,ロボット手術における視覚的質問の局所化-回答(Surgical-VQLA)を提案し,回答予測中に特定の手術領域を局所化する。
  論文  参考訳（メタデータ） (2023-05-19T14:13:47Z)
• CholecTriplet2021: A benchmark challenge for surgical action triplet recognition [66.51610049869393]
  腹腔鏡下手術における三肢の認識のためにMICCAI 2021で実施した内視鏡的視力障害であるColecTriplet 2021を提案する。 課題の参加者が提案する最先端の深層学習手法の課題設定と評価について述べる。 4つのベースライン法と19の新しいディープラーニングアルゴリズムが提示され、手術ビデオから直接手術行動三重項を認識し、平均平均精度(mAP)は4.2%から38.1%である。
  論文  参考訳（メタデータ） (2022-04-10T18:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。