論文の概要: Robust Benchmarking for Machine Learning of Clinical Entity Extraction
- arxiv url: http://arxiv.org/abs/2007.16127v1
- Date: Fri, 31 Jul 2020 15:14:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 05:55:18.749547
- Title: Robust Benchmarking for Machine Learning of Clinical Entity Extraction
- Title（参考訳）: 臨床エンティティ抽出の機械学習のためのロバストベンチマーク
- Authors: Monica Agrawal, Chloe O'Connell, Yasmin Fatemi, Ariel Levy, David
Sontag
- Abstract要約: 我々は、最先端システムの性能を監査し、改善の領域を示す。
2019 n2c2共有タスクにおける臨床エンティティ正規化システムに対する高いタスク精度が誤解を招くことが判明した。
臨床組織抽出のためのアノテーションの枠組みを医療用語の不整合因子に再構成する。
- 参考スコア（独自算出の注目度）: 2.9398911304923447
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Clinical studies often require understanding elements of a patient's
narrative that exist only in free text clinical notes. To transform notes into
structured data for downstream use, these elements are commonly extracted and
normalized to medical vocabularies. In this work, we audit the performance of
and indicate areas of improvement for state-of-the-art systems. We find that
high task accuracies for clinical entity normalization systems on the 2019 n2c2
Shared Task are misleading, and underlying performance is still brittle.
Normalization accuracy is high for common concepts (95.3%), but much lower for
concepts unseen in training data (69.3%). We demonstrate that current
approaches are hindered in part by inconsistencies in medical vocabularies,
limitations of existing labeling schemas, and narrow evaluation techniques. We
reformulate the annotation framework for clinical entity extraction to factor
in these issues to allow for robust end-to-end system benchmarking. We evaluate
concordance of annotations from our new framework between two annotators and
achieve a Jaccard similarity of 0.73 for entity recognition and an agreement of
0.83 for entity normalization. We propose a path forward to address the
demonstrated need for the creation of a reference standard to spur method
development in entity recognition and normalization.
- Abstract（参考訳）: 臨床研究は、しばしば自由テキスト臨床ノートにのみ存在する患者の物語の要素を理解する必要がある。
音符を下流で使用するための構造化データに変換するために、これらの要素は一般的に抽出され、医学用語に正規化される。
本研究では,最先端システムの性能を監査し,改善領域を示す。
2019 n2c2共有タスクにおける臨床エンティティ正規化システムに対する高いタスク精度は、誤解を招くものであり、基盤となる性能は依然として不安定である。
一般的な概念(95.3%)では正規化精度が高いが、トレーニングデータでは認識できない概念(69.3%)ではずっと低い。
医療用語の不整合,既存のラベル付けスキーマの制限,狭い評価手法によって,現在のアプローチが妨げられていることを示す。
これらの問題に対処するために、臨床エンティティ抽出のためのアノテーションフレームワークを再構築し、堅牢なエンドツーエンドシステムベンチマークを可能にする。
2つのアノテータ間の新たなフレームワークからのアノテーションの一致を評価し、エンティティ認識のための Jaccard 類似度 0.73 とエンティティ正規化のための 0.83 を達成した。
本稿では,エンティティ認識と正規化におけるメソッド開発を促進させる基準標準の作成の必要性を実証する手法を提案する。
関連論文リスト
- Attribute Structuring Improves LLM-Based Evaluation of Clinical Text
Summaries [62.32403630651586]
大規模言語モデル(LLM)は、正確な臨床テキスト要約を生成する可能性を示しているが、根拠付けと評価に関する問題に苦慮している。
本稿では、要約評価プロセスを構成するAttribute Structuring(AS)を用いた一般的な緩和フレームワークについて検討する。
ASは、臨床テキスト要約における人間のアノテーションと自動メトリクスの対応性を一貫して改善する。
論文 参考訳（メタデータ） (2024-03-01T21:59:03Z) - Assertion Detection Large Language Model In-context Learning LoRA
Fine-tuning [2.401755243180179]
本稿では,大規模言語モデル(LLM)を多数の医療データに基づいて事前学習してアサーション検出を行う手法を提案する。
提案手法は従来の手法よりも0.31高い0.74のF-1を達成した。
論文 参考訳（メタデータ） (2024-01-31T05:11:00Z) - Applying unsupervised keyphrase methods on concepts extracted from
discharge sheets [7.102620843620572]
各内容が記録されている部分を特定し、また、臨床テキストから意味を抽出するための重要な概念を特定する必要がある。
本研究では,臨床自然言語処理技術を用いて,これらの課題に対処した。
一般的な教師なしキーフレーズ抽出手法が検証され,評価されている。
論文 参考訳（メタデータ） (2023-03-15T20:55:25Z) - A Meta-Evaluation of Faithfulness Metrics for Long-Form Hospital-Course
Summarization [2.8575516056239576]
病院入院の長期的臨床要約は、臨床医と患者の両方に役立つ可能性から、現実的な重要性を持っている。
本研究は,患者の短期病院講座のモデル作成要約に対して,人体アノテーションの微粒化に対する忠実度指標をベンチマークした。
論文 参考訳（メタデータ） (2023-03-07T14:57:06Z) - USE-Evaluator: Performance Metrics for Medical Image Segmentation Models
with Uncertain, Small or Empty Reference Annotations [5.672489398972326]
症例の分布と公的なデータセットにおけるセグメンテーション作業の難易度との間には,臨床実践と比較してミスマッチがある。
一般的な指標は、特に臨床データセットにおいて、このミスマッチの影響を測ることに失敗する。
医用画像のセグメンテーションにおける基準アノテーションの不確かさ,小ささ,空さが指標の価値に与える影響について検討する。
論文 参考訳（メタデータ） (2022-09-26T20:40:02Z) - Statistical Dependency Guided Contrastive Learning for Multiple Labeling
in Prenatal Ultrasound [56.631021151764955]
標準平面認識は出生前超音波(US)スクリーニングにおいて重要な役割を担っている。
我々は,複数の標準平面と対応する解剖学的構造を同時に識別する,新しいマルチラベル学習手法を構築した。
論文 参考訳（メタデータ） (2021-08-11T06:39:26Z) - Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。
目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。
本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
論文 参考訳（メタデータ） (2021-08-02T10:42:52Z) - Federated Semi-supervised Medical Image Classification via Inter-client
Relation Matching [58.26619456972598]
フェデレートラーニング(FL)は、ディープ・ネットワークのトレーニングのために、分散医療機関とのコラボレーションで人気が高まっている。
本報告では,実践的かつ困難なFL問題であるtextitFederated Semi-supervised Learning (FSSL)について検討する。
本稿では, 従来の整合性正規化機構を改良し, クライアント間関係マッチング方式を提案する。
論文 参考訳（メタデータ） (2021-06-16T07:58:00Z) - Detecting of a Patient's Condition From Clinical Narratives Using
Natural Language Representation [0.3149883354098941]
本稿では,臨床自然言語表現学習と教師付き分類フレームワークを提案する。
この新しいフレームワークは、文脈的臨床物語入力から分布構文と潜在意味論(表現学習)を共同で発見する。
提案手法では, 精度, 再現性, 精度をそれぞれ89 %, 88 %, 89 %とした総合分類性能が得られる。
論文 参考訳（メタデータ） (2021-04-08T17:16:04Z) - Benchmarking Automated Clinical Language Simplification: Dataset,
Algorithm, and Evaluation [48.87254340298189]
我々はMedLaneという名の新しいデータセットを構築し、自動化された臨床言語簡易化手法の開発と評価を支援する。
我々は,人間のアノテーションの手順に従い,最先端のパフォーマンスを実現するDECLAREと呼ばれる新しいモデルを提案する。
論文 参考訳（メタデータ） (2020-12-04T06:09:02Z) - Semi-supervised Medical Image Classification with Relation-driven
Self-ensembling Model [71.80319052891817]
医用画像分類のための関係駆動型半教師付きフレームワークを提案する。
これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。
本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
論文 参考訳（メタデータ） (2020-05-15T06:57:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。