論文の概要: Surgical Action Planning with Large Language Models

• arxiv url: http://arxiv.org/abs/2503.18296v1
• Date: Mon, 24 Mar 2025 03:02:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:31:18.159917
• Title: Surgical Action Planning with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた手術行動計画
• Authors: Mengya Xu, Zhongzhen Huang, Jie Zhang, Xiaofan Zhang, Qi Dou,
• Abstract要約: 本稿では,現在開発中の知的アプリケーションにおける術中予測計画の欠如に対処するため,視覚入力から将来の行動計画を生成する手術行動計画タスクを紹介する。 LLMs-SAPは、将来の行動を予測するフレームワークであり、外科的目標の自然言語プロンプトを解釈することで、テキスト応答を生成する。 実験の結果,Qwen2.5-72B-SFTは19.3%の精度でQwen2.5-72Bを上回った。
• 参考スコア（独自算出の注目度）: 14.962190341695607
• License:
• Abstract: In robot-assisted minimally invasive surgery, we introduce the Surgical Action Planning (SAP) task, which generates future action plans from visual inputs to address the absence of intraoperative predictive planning in current intelligent applications. SAP shows great potential for enhancing intraoperative guidance and automating procedures. However, it faces challenges such as understanding instrument-action relationships and tracking surgical progress. Large Language Models (LLMs) show promise in understanding surgical video content but remain underexplored for predictive decision-making in SAP, as they focus mainly on retrospective analysis. Challenges like data privacy, computational demands, and modality-specific constraints further highlight significant research gaps. To tackle these challenges, we introduce LLM-SAP, a Large Language Models-based Surgical Action Planning framework that predicts future actions and generates text responses by interpreting natural language prompts of surgical goals. The text responses potentially support surgical education, intraoperative decision-making, procedure documentation, and skill analysis. LLM-SAP integrates two novel modules: the Near-History Focus Memory Module (NHF-MM) for modeling historical states and the prompts factory for action planning. We evaluate LLM-SAP on our constructed CholecT50-SAP dataset using models like Qwen2.5 and Qwen2-VL, demonstrating its effectiveness in next-action prediction. Pre-trained LLMs are tested zero-shot, and supervised fine-tuning (SFT) with LoRA is implemented to address data privacy concerns. Our experiments show that Qwen2.5-72B-SFT surpasses Qwen2.5-72B with a 19.3% higher accuracy.
• Abstract（参考訳）: ロボットによる最小侵襲手術では,手術行動計画(SAP)タスクを導入し,視覚入力から将来の行動計画を生成し,術中予測計画の欠如に対処する。 SAPは術中指導や自動手術の強化に大きな可能性を秘めている。 しかし、楽器-アクション関係の理解や外科的進行の追跡といった課題に直面している。 大規模言語モデル (LLMs) は, 外科的ビデオコンテンツを理解する上では有望であるが, 主に振り返り分析に焦点を当てたSAPにおける予測的意思決定には未熟である。 データプライバシ、計算要求、モダリティ固有の制約といった課題は、さらに大きな研究ギャップを浮き彫りにする。 これらの課題に対処するために,LLM-SAP(Large Language Models-based Surgery Action Planning framework)を紹介した。 テキスト応答は、外科教育、術中意思決定、手順文書、スキル分析をサポートする可能性がある。 LLM-SAPは、2つの新しいモジュールを統合している: 履歴状態をモデリングするためのNear-History Focus Memory Module (NHF-MM) と、アクションプランニングのためのファクトリである。 Qwen2.5 や Qwen2-VL などのモデルを用いて構築した CholecT50-SAP データセット上で LLM-SAP を評価し,次アクション予測の有効性を示した。 事前訓練されたLLMはゼロショットでテストされ、データプライバシの懸念に対処するためにLoRAによる教師付き微調整(SFT)が実装されている。 実験の結果,Qwen2.5-72B-SFTは19.3%の精度でQwen2.5-72Bを上回った。

関連論文リスト

• Procedure-Aware Surgical Video-language Pretraining with Hierarchical Knowledge Augmentation [51.222684687924215]
  手術用ビデオ言語事前学習は、知識領域のギャップとマルチモーダルデータの不足により、独特な課題に直面している。 本稿では,これらの課題に対処するために,階層的知識向上手法と新しい手術的知識向上型ビデオランゲージ事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-30T22:21:05Z)
• LLaVA-Surg: Towards Multimodal Surgical Assistant via Structured Surgical Video Learning [15.646322352232819]
  新しいデータセットであるSurg-QAを作成し、手術用ビデオインストラクションペアを102,000個作成する。 手術知識を学習するために, LLMを用いた2段階質問応答生成パイプラインを提案する。 LLaVA-Surgは、手術ビデオに関するオープンな質問に答えられる新しい視覚言語対話アシスタントだ。
  論文  参考訳（メタデータ） (2024-08-15T07:00:20Z)
• When Raw Data Prevails: Are Large Language Model Embeddings Effective in Numerical Data Representation for Medical Machine Learning Applications? [8.89829757177796]
  大規模言語モデルの最後の隠れ状態からベクター表現が医療診断および予後に有効であることを示す。 我々は,異常な生理的データを表すため,ゼロショット設定の命令調整LDMに着目し,それらのユーティリティを特徴抽出器として評価する。 医学MLタスクでは生データの特徴が依然として有効であることが示唆されているが、ゼロショットLSM埋め込みは競争力のある結果を示している。
  論文  参考訳（メタデータ） (2024-08-15T03:56:40Z)
• Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs [59.76268575344119]
  知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。 KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
  論文  参考訳（メタデータ） (2024-06-20T13:07:38Z)
• PARADISE: Evaluating Implicit Planning Skills of Language Models with Procedural Warnings and Tips Dataset [0.0]
  PARADISE は,wikiHow をベースとした実践的な手続きテキスト上で,Q&A 形式を用いた帰納的推論タスクである。 計画の暗黙的な知識を与えられた目標からのみ推論するモデルの能力をテストすることを目的として、中間的なステップを除く、目標に直接関連した警告およびヒント推論タスクを含む。 我々の実験は、微調整言語モデルとゼロショットプロンプトを利用して、ほとんどのシナリオにおいて、大規模言語モデルに対するタスク固有小モデルの有効性を明らかにした。
  論文  参考訳（メタデータ） (2024-03-05T18:01:59Z)
• From Summary to Action: Enhancing Large Language Models for Complex Tasks with Open World APIs [62.496139001509114]
  大規模な現実世界のAPIを制御するために設計された新しいツール呼び出しパイプラインを導入します。 このパイプラインは人間のタスク解決プロセスを反映し、複雑な実際のユーザクエリに対処する。 ToolBenchベンチマークにおけるSum2Actパイプラインの実証的な評価は、大幅なパフォーマンス向上を示している。
  論文  参考訳（メタデータ） (2024-02-28T08:42:23Z)
• Prompting Large Language Models for Zero-Shot Clinical Prediction with Structured Longitudinal Electronic Health Record Data [7.815738943706123]
  大規模言語モデル(LLM)は、伝統的に自然言語処理に向いている。 本研究では, GPT-4 などの LLM の EHR データへの適応性について検討する。 EHRデータの長手性、スパース性、知識を注入した性質に対応するため、本研究は特定の特徴を考慮に入れている。
  論文  参考訳（メタデータ） (2024-01-25T20:14:50Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
  タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。 本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。 本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:12:28Z)
• Neuro-Symbolic Causal Language Planning with Commonsense Prompting [67.06667162430118]
  言語プランニングは、より単純な低レベルステップに分解することで、複雑な高レベルな目標を実装することを目的としている。 以前の手法では、大規模な言語モデルからそのような能力を得るために、手動の例えか注釈付きプログラムが必要である。 本稿では,LLMからの手続き的知識をコモンセンス・インフュージョン・プロンプトにより引き起こすニューロシンボリック因果言語プランナー(CLAP)を提案する。
  論文  参考訳（メタデータ） (2022-06-06T22:09:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。