論文の概要: Large Language Models for Medical OSCE Assessment: A Novel Approach to Transcript Analysis

• arxiv url: http://arxiv.org/abs/2410.12858v1
• Date: Fri, 11 Oct 2024 19:16:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:22:13.503016
• Title: Large Language Models for Medical OSCE Assessment: A Novel Approach to Transcript Analysis
• Title（参考訳）: 医療OSCE評価のための大規模言語モデル:トランスクリプト解析への新しいアプローチ
• Authors: Ameer Hamza Shakur, Michael J. Holcomb, David Hein, Shinyoung Kang, Thomas O. Dalton, Krystle K. Campbell, Daniel J. Scott, Andrew R. Jamieson,
• Abstract要約: テキサス大学サウスウェスタン医療センター(UTSW)における2,027件のビデオ録画OSCE検査について検討した。 本研究は, 学生の要約作業において, LLMに基づく様々な手法による評価を行い, 評価書に基づいて評価を行った。 以上の結果から, GPT-4のようなフロンティアLLMモデルでは, 人間の学級とのアライメントが顕著であった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Grading Objective Structured Clinical Examinations (OSCEs) is a time-consuming and expensive process, traditionally requiring extensive manual effort from human experts. In this study, we explore the potential of Large Language Models (LLMs) to assess skills related to medical student communication. We analyzed 2,027 video-recorded OSCE examinations from the University of Texas Southwestern Medical Center (UTSW), spanning four years (2019-2022), and several different medical cases or "stations." Specifically, our focus was on evaluating students' ability to summarize patients' medical history: we targeted the rubric item 'did the student summarize the patients' medical history?' from the communication skills rubric. After transcribing speech audio captured by OSCE videos using Whisper-v3, we studied the performance of various LLM-based approaches for grading students on this summarization task based on their examination transcripts. Using various frontier-level open-source and proprietary LLMs, we evaluated different techniques such as zero-shot chain-of-thought prompting, retrieval augmented generation, and multi-model ensemble methods. Our results show that frontier LLM models like GPT-4 achieved remarkable alignment with human graders, demonstrating a Cohen's kappa agreement of 0.88 and indicating strong potential for LLM-based OSCE grading to augment the current grading process. Open-source models also showed promising results, suggesting potential for widespread, cost-effective deployment. Further, we present a failure analysis identifying conditions where LLM grading may be less reliable in this context and recommend best practices for deploying LLMs in medical education settings.
• Abstract（参考訳）: グレーディング目的構造化臨床検査(英: Grading Objective Structured Clinical Examinations、OSCE)は、伝統的にヒトの専門家による広範囲な手作業を必要とする、時間と費用のかかる試験である。 本研究では,医学生のコミュニケーションに関連するスキルを評価するために,LLM(Large Language Models)の可能性を検討する。 我々はテキサス大学サウスウェスタン医療センター(UTSW)の2,027件のビデオ録画OSCE検査(2019-2022年)およびいくつかの異なる医療事例および「ステーション」について分析した。 具体的には,患者の医療史を要約する学生の能力を評価することに焦点を当て,コミュニケーションスキルのルーリックから「学生が患者の医療史を要約したか?」というルーリックな項目を対象とした。 Whisper-v3 を用いた OSCE ビデオによる音声音声の書き起こし後, 学生の要約作業におけるLLM に基づく様々なアプローチの有効性について検討した。 さまざまなフロンティアレベルのオープンソースおよびプロプライエタリなLDMを用いて,ゼロショットチェーン・オブ・シークレット・プロンプト,検索拡張生成,マルチモデルアンサンブル手法などの異なる手法の評価を行った。 以上の結果から, GPT-4のようなフロンティアLLMモデルは, コーエンのカッパ契約の0.88を実証し, 現在のグレーティングプロセスを強化するためのOSCEグレーディングの可能性を示した。 オープンソースモデルも有望な結果を示し、広範囲で費用対効果の高いデプロイメントの可能性を示唆している。 また、この文脈では、LCMの格付けが信頼性の低い状況を特定し、医学教育環境にLSMを配置するためのベストプラクティスを推奨する。

関連論文リスト

• RuleAlign: Making Large Language Models Better Physicians with Diagnostic Rule Alignment [54.91736546490813]
  本稿では,大規模言語モデルと特定の診断規則との整合性を考慮したルールアラインフレームワークを提案する。 患者と医師間の規則に基づくコミュニケーションを含む医療対話データセットを開発した。 実験の結果,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-08-22T17:44:40Z)
• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• SemioLLM: Assessing Large Language Models for Semiological Analysis in Epilepsy Research [45.2233252981348]
  大規模言語モデルは、一般的な医学的知識をエンコードする能力において有望な結果を示している。 内科的知識を活用しててててんかんの診断を行う技術について検討した。
  論文  参考訳（メタデータ） (2024-07-03T11:02:12Z)
• MedExQA: Medical Question Answering Benchmark with Multiple Explanations [2.2246416434538308]
  本稿では,MedExQAについて紹介する。MedExQAは,医学的知識に関する大規模言語モデル (LLM) の理解を説明を通じて評価するための,医学的質問応答の新しいベンチマークである。 5つの異なる医療専門分野のデータセットを構築することで、現在の医療QAベンチマークの大きなギャップに対処する。 本研究は、医学LLMにおける説明可能性の重要性を強調し、分類精度以上のモデルを評価する効果的な方法論を提案し、特定の分野である音声言語病理学に光を当てる。
  論文  参考訳（メタデータ） (2024-06-10T14:47:04Z)
• Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding [53.629132242389716]
  VLM(Vision-Language Models)は、医用画像を分析し、自然言語の相互作用に関与することによって、臨床医を支援する。 VLMはしばしば「幻覚的」な振る舞いを示し、文脈的マルチモーダル情報に基づかないテキスト出力を生成する。 本稿では,臨床推論の象徴的表現を用いて医療知識にVLMを基盤とする新たなアライメントアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-29T23:19:28Z)
• Adapting Open-Source Large Language Models for Cost-Effective, Expert-Level Clinical Note Generation with On-Policy Reinforcement Learning [19.08691249610632]
  本研究では,オープンソースのLLaMA-213億パラメータモデルに対する包括的ドメイン・タスク特化プロセスを提案する。 教師モデルとしてGemini 1.0 Proを用いて、政治強化学習を行うための新しいアプローチであるDistillDirectを導入する。 我々のモデルであるLLaMA-Clinicは、医師が作成したものと同等の品質の臨床メモを生成することができる。
  論文  参考訳（メタデータ） (2024-04-25T15:34:53Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• Large Language Models Illuminate a Progressive Pathway to Artificial Healthcare Assistant: A Review [16.008511195589925]
  大規模言語モデル(LLM)は、人間のレベルの言語理解と推論を模倣する有望な能力を示している。 本稿では,医学におけるLSMの応用と意義について概説する。
  論文  参考訳（メタデータ） (2023-11-03T13:51:36Z)
• Adapted Large Language Models Can Outperform Medical Experts in Clinical Text Summarization [8.456700096020601]
  大規模言語モデル (LLM) は自然言語処理 (NLP) において有望であるが, 様々な臨床要約タスクにおける有効性は証明されていない。 本研究では,4つの臨床要約課題にまたがる8つのLCMに適応法を適用した。 10名の医師による臨床読影者を対象に, 要約, 完全性, 正当性, 簡潔性を評価した。ほとんどの場合, ベスト適応LSMの要約は, 医用専門家の要約と比べ, 同等(45%), 上等(36%)である。
  論文  参考訳（メタデータ） (2023-09-14T05:15:01Z)
• Retrieval-Augmented and Knowledge-Grounded Language Models for Faithful Clinical Medicine [68.7814360102644]
  本稿では,Re$3$Writer法を提案する。 本手法が患者の退院指示生成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-23T16:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。