論文の概要: WangLab at MEDIQA-CORR 2024: Optimized LLM-based Programs for Medical Error Detection and Correction
- arxiv url: http://arxiv.org/abs/2404.14544v1
- Date: Mon, 22 Apr 2024 19:31:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 17:57:44.635116
- Title: WangLab at MEDIQA-CORR 2024: Optimized LLM-based Programs for Medical Error Detection and Correction
- Title（参考訳）: WangLab at MEDIQA-CORR 2024:Optimized LLM-based Programs for Medical Error Detection and Correction
- Authors: Augustin Toma, Ronald Xie, Steven Palayew, Patrick R. Lawler, Bo Wang,
- Abstract要約: 3つのサブタスクすべてでトップパフォーマンスを達成したアプローチを提示する。
微妙な誤りを含むMSデータセットに対して,検索に基づくシステムを開発した。
UWデータセットでは、より現実的な臨床ノートを反映して、エラーを検出し、ローカライズし、修正するためのモジュールのパイプラインを作成しました。
- 参考スコア（独自算出の注目度）: 5.7931394318054155
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Medical errors in clinical text pose significant risks to patient safety. The MEDIQA-CORR 2024 shared task focuses on detecting and correcting these errors across three subtasks: identifying the presence of an error, extracting the erroneous sentence, and generating a corrected sentence. In this paper, we present our approach that achieved top performance in all three subtasks. For the MS dataset, which contains subtle errors, we developed a retrieval-based system leveraging external medical question-answering datasets. For the UW dataset, reflecting more realistic clinical notes, we created a pipeline of modules to detect, localize, and correct errors. Both approaches utilized the DSPy framework for optimizing prompts and few-shot examples in large language model (LLM) based programs. Our results demonstrate the effectiveness of LLM based programs for medical error correction. However, our approach has limitations in addressing the full diversity of potential errors in medical documentation. We discuss the implications of our work and highlight future research directions to advance the robustness and applicability of medical error detection and correction systems.
- Abstract（参考訳）: 臨床テキストにおける医療ミスは患者の安全性に重大なリスクをもたらす。
MEDIQA-CORR 2024共有タスクは、これらのエラーを3つのサブタスクにわたって検出し、修正することに焦点を当てている。
本稿では,3つのサブタスクすべてにおいてトップパフォーマンスを達成したアプローチを提案する。
微妙な誤りを含むMSデータセットに対して,外部医療質問応答データセットを利用した検索ベースシステムを開発した。
UWデータセットでは、より現実的な臨床ノートを反映して、エラーを検出し、ローカライズし、修正するためのモジュールのパイプラインを作成しました。
どちらのアプローチもDSPyフレームワークを使ってプロンプトを最適化し、大きな言語モデル(LLM)ベースのプログラムでいくつかの例を示した。
本研究は, LLM を用いた医療的誤り訂正プログラムの有効性を実証するものである。
しかし、我々のアプローチは、医療文書の潜在的なエラーの完全な多様性に対処する上で制限がある。
本研究の意義を考察し,医療ミス検出・修正システムの堅牢性と適用性を高めるための今後の研究の方向性を明らかにする。
関連論文リスト
- Mitigating Hallucinations of Large Language Models in Medical Information Extraction via Contrastive Decoding [92.32881381717594]
医療情報抽出タスクにおける幻覚の問題を解決するために,ALCD(ALternate Contrastive Decoding)を導入する。
ALCDは, 従来の復号法に比べて幻覚の解消に有意な改善が見られた。
論文 参考訳（メタデータ） (2024-10-21T07:19:19Z) - Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。
RISEは定義済みの微妙な誤りを正しい解の部分的なトークンに注入し、エラー軽減のためにハードペアを構築する。
RISEの有効性を検証する実験では、Qwen2-7B-Instructでは、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善された。
論文 参考訳（メタデータ） (2024-10-09T07:43:38Z) - ReXErr: Synthesizing Clinically Meaningful Errors in Diagnostic Radiology Reports [1.9106067578277455]
胸部X線レポート内の代表的エラーを生成するために,大規模言語モデルを活用する手法であるReXErrを紹介する。
我々は、人間とAIが生成したレポートでよくある誤りを捉えるエラーカテゴリを開発した。
本手法は, 臨床応用可能性を維持しつつ, 多様な誤差を注入する新しいサンプリング手法を用いている。
論文 参考訳（メタデータ） (2024-09-17T01:42:39Z) - Integrating Knowledge Retrieval and Large Language Models for Clinical Report Correction [7.144169681445819]
本研究では,大規模言語モデル (LLM) と検索拡張生成技術 (RAG) を利用した放射線学報告における誤り訂正手法を提案する。
提案フレームワークは,新たな内外的検索機構を用いて,関心事報告と外部知識ソースから関連する医療機関と関係を抽出する。
アプローチの有効性は、ドメインの専門家がガイドした現実的なエラーで実世界の放射線学レポートを破損させたベンチマークデータセットを用いて評価される。
論文 参考訳（メタデータ） (2024-06-21T10:48:21Z) - A Comprehensive Library for Benchmarking Multi-class Visual Anomaly Detection [52.228708947607636]
本稿では,新しい手法のモジュラーフレームワークであるADerを包括的視覚異常検出ベンチマークとして紹介する。
このベンチマークには、産業ドメインと医療ドメインからの複数のデータセットが含まれており、15の最先端メソッドと9つの包括的なメトリクスを実装している。
我々は,異なる手法の長所と短所を客観的に明らかにし,多クラス視覚異常検出の課題と今後の方向性について考察する。
論文 参考訳（メタデータ） (2024-06-05T13:40:07Z) - Edinburgh Clinical NLP at MEDIQA-CORR 2024: Guiding Large Language Models with Hints [8.547853819087043]
複数のプロンプト戦略を用いて医学的誤りを識別・修正する一般LSMの能力を評価する。
より小さな微調整モデルからエラースパン予測を2つの方法で組み込むことを提案する。
8ショット+CoT + ヒントによる最高のパフォーマンスのソリューションは、共有タスクのリーダーボードで6位です。
論文 参考訳（メタデータ） (2024-05-28T10:20:29Z) - PromptMind Team at MEDIQA-CORR 2024: Improving Clinical Text Correction with Error Categorization and LLM Ensembles [0.0]
本稿では,医療従事者による臨床ノートの誤り検出と修正を含むMEDIQA-CORR共有タスクへのアプローチについて述べる。
我々は,事実情報と信頼できない情報の両方を含む膨大なインターネットデータのコーパスに基づいて訓練された大規模言語モデルの能力を評価することを目的としている。
論文 参考訳（メタデータ） (2024-05-14T07:16:36Z) - MediFact at MEDIQA-CORR 2024: Why AI Needs a Human Touch [0.0]
MEDIQA-CORR 2024共有タスクに提案する新しい手法を提案する。
本手法は,臨床テキストデータからコンテキスト関連情報を抽出することを強調する。
ドメインの専門知識を統合し、意味のある情報抽出を優先順位付けすることで、私たちのアプローチは、医療にAIを適用する上で、人間中心の戦略の重要性を強調します。
論文 参考訳（メタデータ） (2024-04-27T20:28:38Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳（メタデータ） (2023-05-30T22:05:11Z) - Automated Medical Coding on MIMIC-III and MIMIC-IV: A Critical Review
and Replicability Study [60.56194508762205]
我々は、最先端の医療自動化機械学習モデルを再現し、比較し、分析する。
その結果, 弱い構成, サンプル化の不十分さ, 評価の不十分さなどにより, いくつかのモデルの性能が低下していることが判明した。
再生モデルを用いたMIMIC-IVデータセットの総合評価を行った。
論文 参考訳（メタデータ） (2023-04-21T11:54:44Z) - Factual Error Correction for Abstractive Summaries Using Entity
Retrieval [57.01193722520597]
本稿では,エンティティ検索後処理に基づく効率的な事実誤り訂正システムRFECを提案する。
RFECは、原文と対象要約とを比較して、原文から証拠文を検索する。
次に、RFECは、エビデンス文を考慮し、要約中のエンティティレベルのエラーを検出し、エビデンス文から正確なエンティティに置換する。
論文 参考訳（メタデータ） (2022-04-18T11:35:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。