論文の概要: PromptMind Team at MEDIQA-CORR 2024: Improving Clinical Text Correction with Error Categorization and LLM Ensembles
- arxiv url: http://arxiv.org/abs/2405.08373v1
- Date: Tue, 14 May 2024 07:16:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 14:48:16.171928
- Title: PromptMind Team at MEDIQA-CORR 2024: Improving Clinical Text Correction with Error Categorization and LLM Ensembles
- Title(参考訳): MEDIQA-CORR 2024 の PromptMind チーム: エラー分類と LLM アンサンブルによる臨床テキスト補正の改善
- Authors: Satya Kesav Gundabathula, Sriram R Kolar,
- Abstract要約: 本稿では,医療従事者による臨床ノートの誤り検出と修正を含むMEDIQA-CORR共有タスクへのアプローチについて述べる。
我々は,事実情報と信頼できない情報の両方を含む膨大なインターネットデータのコーパスに基づいて訓練された大規模言語モデルの能力を評価することを目的としている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper describes our approach to the MEDIQA-CORR shared task, which involves error detection and correction in clinical notes curated by medical professionals. This task involves handling three subtasks: detecting the presence of errors, identifying the specific sentence containing the error, and correcting it. Through our work, we aim to assess the capabilities of Large Language Models (LLMs) trained on a vast corpora of internet data that contain both factual and unreliable information. We propose to comprehensively address all subtasks together, and suggest employing a unique prompt-based in-context learning strategy. We will evaluate its efficacy in this specialized task demanding a combination of general reasoning and medical knowledge. In medical systems where prediction errors can have grave consequences, we propose leveraging self-consistency and ensemble methods to enhance error correction and error detection performance.
- Abstract(参考訳): 本稿では,医療従事者による臨床ノートの誤り検出と修正を含むMEDIQA-CORR共有タスクへのアプローチについて述べる。
このタスクは、エラーの検出、エラーを含む特定の文の特定、修正という3つのサブタスクを扱う。
本研究は,事実情報と信頼できない情報の両方を含む膨大なインターネットデータのコーパスに基づいて学習したLarge Language Models(LLM)の機能を評価することを目的とする。
本稿では,すべてのサブタスクを包括的に扱うことを提案する。
一般的な推論と医学的知識の組み合わせを要求されるこの専門課題における有効性を評価する。
予測誤差が致命的な結果をもたらす医療システムでは,自己整合性およびアンサンブル法を利用して誤り訂正と誤り検出性能を向上させることを提案する。
関連論文リスト
- Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。
LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。
本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
論文 参考訳(メタデータ) (2024-10-05T05:21:48Z) - A Coin Has Two Sides: A Novel Detector-Corrector Framework for Chinese Spelling Correction [79.52464132360618]
中国語のSpelling Correction(CSC)は、自然言語処理(NLP)の基本課題である。
本稿では,エラー検出・相関器の枠組みに基づく新しい手法を提案する。
我々の検出器は2つのエラー検出結果を得るように設計されており、それぞれ高精度とリコールが特徴である。
論文 参考訳(メタデータ) (2024-09-06T09:26:45Z) - Integrating Knowledge Retrieval and Large Language Models for Clinical Report Correction [7.144169681445819]
本研究では,大規模言語モデル (LLM) と検索拡張生成技術 (RAG) を利用した放射線学報告における誤り訂正手法を提案する。
提案フレームワークは,新たな内外的検索機構を用いて,関心事報告と外部知識ソースから関連する医療機関と関係を抽出する。
アプローチの有効性は、ドメインの専門家がガイドした現実的なエラーで実世界の放射線学レポートを破損させたベンチマークデータセットを用いて評価される。
論文 参考訳(メタデータ) (2024-06-21T10:48:21Z) - Chain-of-Though (CoT) prompting strategies for medical error detection and correction [5.756731172979317]
本稿では,MEDIQA-CORR 2024共有課題に対する臨床ノートにおける医療ミスの自動検出と修正について述べる。
大型言語モデル(LLM)を用いたChain-of-Thought(CoT)と理性プロンプトを併用した複数ショットインコンテクスト学習の3つの手法の成果を報告する。
我々のアンサンブル法は,サブタスクのランキングを3位とし,サブタスク3の7位を確保した。
論文 参考訳(メタデータ) (2024-06-13T13:31:04Z) - Edinburgh Clinical NLP at MEDIQA-CORR 2024: Guiding Large Language Models with Hints [8.547853819087043]
複数のプロンプト戦略を用いて医学的誤りを識別・修正する一般LSMの能力を評価する。
より小さな微調整モデルからエラースパン予測を2つの方法で組み込むことを提案する。
8ショット+CoT + ヒントによる最高のパフォーマンスのソリューションは、共有タスクのリーダーボードで6位です。
論文 参考訳(メタデータ) (2024-05-28T10:20:29Z) - MediFact at MEDIQA-CORR 2024: Why AI Needs a Human Touch [0.0]
MEDIQA-CORR 2024共有タスクに提案する新しい手法を提案する。
本手法は,臨床テキストデータからコンテキスト関連情報を抽出することを強調する。
ドメインの専門知識を統合し、意味のある情報抽出を優先順位付けすることで、私たちのアプローチは、医療にAIを適用する上で、人間中心の戦略の重要性を強調します。
論文 参考訳(メタデータ) (2024-04-27T20:28:38Z) - WangLab at MEDIQA-CORR 2024: Optimized LLM-based Programs for Medical Error Detection and Correction [5.7931394318054155]
3つのサブタスクすべてでトップパフォーマンスを達成したアプローチを提示する。
微妙な誤りを含むMSデータセットに対して,検索に基づくシステムを開発した。
UWデータセットでは、より現実的な臨床ノートを反映して、エラーを検出し、ローカライズし、修正するためのモジュールのパイプラインを作成しました。
論文 参考訳(メタデータ) (2024-04-22T19:31:45Z) - Understanding and Mitigating Classification Errors Through Interpretable
Token Patterns [58.91023283103762]
容易に解釈可能な用語でエラーを特徴付けることは、分類器が体系的なエラーを起こす傾向にあるかどうかを洞察する。
正しい予測と誤予測を区別するトークンのパターンを発見することを提案する。
提案手法であるPremiseが実際によく動作することを示す。
論文 参考訳(メタデータ) (2023-11-18T00:24:26Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z) - Automated Medical Coding on MIMIC-III and MIMIC-IV: A Critical Review
and Replicability Study [60.56194508762205]
我々は、最先端の医療自動化機械学習モデルを再現し、比較し、分析する。
その結果, 弱い構成, サンプル化の不十分さ, 評価の不十分さなどにより, いくつかのモデルの性能が低下していることが判明した。
再生モデルを用いたMIMIC-IVデータセットの総合評価を行った。
論文 参考訳(メタデータ) (2023-04-21T11:54:44Z) - On the Robustness of Language Encoders against Grammatical Errors [66.05648604987479]
我々は、非ネイティブ話者から実際の文法的誤りを収集し、これらの誤りをクリーンテキストデータ上でシミュレートするために敵攻撃を行う。
結果,全ての試験モデルの性能は影響するが,影響の程度は異なることがわかった。
論文 参考訳(メタデータ) (2020-05-12T11:01:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。