論文の概要: Extrinsically-Focused Evaluation of Omissions in Medical Summarization

• arxiv url: http://arxiv.org/abs/2311.08303v2
• Date: Mon, 11 Nov 2024 22:17:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:19:03.585062
• Title: Extrinsically-Focused Evaluation of Omissions in Medical Summarization
• Title（参考訳）: 医用要約における排ガスの極端に焦点をあてた評価
• Authors: Elliot Schumacher, Daniel Rosenthal, Dhruv Naik, Varun Nair, Luladay Price, Geoffrey Tso, Anitha Kannan,
• Abstract要約: 大規模言語モデル(LLM)は、医療などの安全クリティカルなアプリケーションにおいて有望であるが、パフォーマンスを定量化する能力は低下している。 MED-OMITは患者の医療記録の要約を評価するための指標として提案される。
• 参考スコア（独自算出の注目度）: 9.847304366680772
• License:
• Abstract: Large language models (LLMs) have shown promise in safety-critical applications such as healthcare, yet the ability to quantify performance has lagged. An example of this challenge is in evaluating a summary of the patient's medical record. A resulting summary can enable the provider to get a high-level overview of the patient's health status quickly. Yet, a summary that omits important facts about the patient's record can produce a misleading picture. This can lead to negative consequences on medical decision-making. We propose MED-OMIT as a metric to explore this challenge. We focus on using provider-patient history conversations to generate a subjective (a summary of the patient's history) as a case study. We begin by discretizing facts from the dialogue and identifying which are omitted from the subjective. To determine which facts are clinically relevant, we measure the importance of each fact to a simulated differential diagnosis. We compare MED-OMIT's performance to that of clinical experts and find broad agreement We use MED-OMIT to evaluate LLM performance on subjective generation and find some LLMs (gpt-4 and llama-3.1-405b) work well with little effort, while others (e.g. Llama 2) perform worse.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、医療などの安全クリティカルなアプリケーションにおいて有望であるが、パフォーマンスを定量化する能力は低下している。 この課題の例として、患者の医療記録の要約を評価することが挙げられる。 結果の要約により、提供者は患者の健康状態の高レベルな概観を迅速に得ることができる。 しかし、患者の記録に関する重要な事実を省略する要約は誤解を招く可能性がある。 これは医学的な意思決定に悪影響を及ぼす可能性がある。 本稿では,この課題を探求する指標としてMED-OMITを提案する。 本研究は,患者の歴史を包括する主観的な会話(患者の歴史の要約)を事例研究として生み出すために,提供者-患者間のヒストリーの会話に焦点をあてる。 まず、対話から事実を識別し、主観から省略された事実を特定する。 どの事実が臨床的に関連があるかを決定するために,各事実の重要性をシミュレートされた鑑別診断に測定する。 我々は,MED-OMITの成績を臨床専門家の成績と比較し,幅広い合意を得た。我々は,MED-OMITを用いて主観的生成におけるLLMのパフォーマンスを評価し,いくつかのLLM(gpt-4, llama-3.1-405b)をほとんど努力せず,他の(例:Llama 2)はより良く機能する。

関連論文リスト

• SemioLLM: Assessing Large Language Models for Semiological Analysis in Epilepsy Research [45.2233252981348]
  大規模言語モデルは、一般的な医学的知識をエンコードする能力において有望な結果を示している。 内科的知識を活用しててててんかんの診断を行う技術について検討した。
  論文  参考訳（メタデータ） (2024-07-03T11:02:12Z)
• RJUA-MedDQA: A Multimodal Benchmark for Medical Document Question Answering and Clinical Reasoning [14.366349078707263]
  RJUA-MedDQAは医学専門分野における総合的なベンチマークである。 本稿では医学専門分野の総合的なベンチマークであるRJUA-MedDQAを紹介する。
  論文  参考訳（メタデータ） (2024-02-19T06:57:02Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• Adapted Large Language Models Can Outperform Medical Experts in Clinical Text Summarization [8.456700096020601]
  大規模言語モデル (LLM) は自然言語処理 (NLP) において有望であるが, 様々な臨床要約タスクにおける有効性は証明されていない。 本研究では,4つの臨床要約課題にまたがる8つのLCMに適応法を適用した。 10名の医師による臨床読影者を対象に, 要約, 完全性, 正当性, 簡潔性を評価した。ほとんどの場合, ベスト適応LSMの要約は, 医用専門家の要約と比べ, 同等(45%), 上等(36%)である。
  論文  参考訳（メタデータ） (2023-09-14T05:15:01Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• Generating medically-accurate summaries of patient-provider dialogue: A multi-stage approach using large language models [6.252236971703546]
  効果的な要約は、対話におけるすべての医学的関連情報を一貫性と精度良く捉えることが要求される。 本稿では, 医療会話の要約問題に, タスクを, より小さな対話に基づくタスクに分解することで対処する。
  論文  参考訳（メタデータ） (2023-05-10T08:48:53Z)
• SPeC: A Soft Prompt-Based Calibration on Performance Variability of Large Language Model in Clinical Notes Summarization [50.01382938451978]
  本稿では,ソフトプロンプトを用いたモデルに依存しないパイプラインを導入し,確率に基づく要約の利点を保ちながら分散を減少させる。 実験結果から,本手法は性能を向上するだけでなく,様々な言語モデルの分散を効果的に抑制することが明らかとなった。
  論文  参考訳（メタデータ） (2023-03-23T04:47:46Z)
• Retrieval-Augmented and Knowledge-Grounded Language Models for Faithful Clinical Medicine [68.7814360102644]
  本稿では,Re$3$Writer法を提案する。 本手法が患者の退院指示生成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-23T16:34:39Z)
• Semi-Supervised Variational Reasoning for Medical Dialogue Generation [70.838542865384]
  医療対話生成には,患者の状態と医師の行動の2つの重要な特徴がある。 医療対話生成のためのエンドツーエンドの変分推論手法を提案する。 行動分類器と2つの推論検出器から構成される医師政策ネットワークは、拡張推論能力のために提案される。
  論文  参考訳（メタデータ） (2021-05-13T04:14:35Z)
• Benchmarking Automated Clinical Language Simplification: Dataset, Algorithm, and Evaluation [48.87254340298189]
  我々はMedLaneという名の新しいデータセットを構築し、自動化された臨床言語簡易化手法の開発と評価を支援する。 我々は,人間のアノテーションの手順に従い,最先端のパフォーマンスを実現するDECLAREと呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-12-04T06:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。