論文の概要: MedErrBench: A Fine-Grained Multilingual Benchmark for Medical Error Detection and Correction with Clinical Expert Annotations

• arxiv url: http://arxiv.org/abs/2602.05692v1
• Date: Thu, 05 Feb 2026 14:18:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.96728
• Title: MedErrBench: A Fine-Grained Multilingual Benchmark for Medical Error Detection and Correction with Clinical Expert Annotations
• Title（参考訳）: MedErrBench:医学的エラー検出と臨床専門家アノテーションによる訂正のための細粒度多言語ベンチマーク
• Authors: Congbo Ma, Yichun Zhang, Yousef Al-Jazzazi, Ahamed Foisal, Laasya Sharma, Yousra Sadqi, Khaled Saleh, Jihad Mallat, Farah E. Shamout,
• Abstract要約: 我々はMedErrBenchを紹介した。MedErrBenchは、エラー検出、ローカライゼーション、修正のための最初の多言語ベンチマークである。 MedErrBenchは10種類の一般的な誤りの分類に基づいて、英語、アラビア語、中国語をカバーしている。 その結果、特に英語以外の設定では、顕著なパフォーマンスのギャップが明らかとなった。
• 参考スコア（独自算出の注目度）: 4.451052650309736
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inaccuracies in existing or generated clinical text may lead to serious adverse consequences, especially if it is a misdiagnosis or incorrect treatment suggestion. With Large Language Models (LLMs) increasingly being used across diverse healthcare applications, comprehensive evaluation through dedicated benchmarks is crucial. However, such datasets remain scarce, especially across diverse languages and contexts. In this paper, we introduce MedErrBench, the first multilingual benchmark for error detection, localization, and correction, developed under the guidance of experienced clinicians. Based on an expanded taxonomy of ten common error types, MedErrBench covers English, Arabic and Chinese, with natural clinical cases annotated and reviewed by domain experts. We assessed the performance of a range of general-purpose, language-specific, and medical-domain language models across all three tasks. Our results reveal notable performance gaps, particularly in non-English settings, highlighting the need for clinically grounded, language-aware systems. By making MedErrBench and our evaluation protocols publicly-available, we aim to advance multilingual clinical NLP to promote safer and more equitable AI-based healthcare globally. The dataset is available in the supplementary material. An anonymized version of the dataset is available at: https://github.com/congboma/MedErrBench.
• Abstract（参考訳）: 既存のまたは生成された臨床テキストの不正確さは、特に誤診または誤った治療提案である場合、深刻な有害な結果をもたらす可能性がある。 大きな言語モデル(LLM)が多様な医療アプリケーションにまたがってますます利用されているため、専用のベンチマークによる包括的な評価が不可欠である。 しかし、そのようなデータセットは、特に多種多様な言語や文脈において、ほとんど残っていない。 本稿では,経験豊富な臨床医の指導のもと開発した,誤り検出,局所化,修正のための最初の多言語ベンチマークであるMedErrBenchを紹介する。 MedErrBenchは10種類の一般的なエラーの分類に基づいて、英語、アラビア語、中国語をカバーする。 汎用言語,言語特化言語,医療ドメイン言語モデルの性能を3つのタスクすべてにわたって評価した。 以上の結果から,特に英語以外の設定では,臨床に根ざした言語認識システムの必要性が顕著であることが明らかとなった。 MedErrBenchと我々の評価プロトコルを一般公開することで、多言語臨床NLPをグローバルに普及させ、より安全で公平なAIベースの医療を促進することを目指している。 データセットは補足資料で利用可能だ。 データセットの匿名化バージョンは、https://github.com/congboma/MedErrBench.comで公開されている。

関連論文リスト

• Building Multilingual Datasets for Predicting Mental Health Severity through LLMs: Prospects and Challenges [3.0382033111760585]
  大規模言語モデル(LLM)は、メンタルヘルス支援システムを含む様々な医療分野に統合されつつある。 本稿では、広く使われているメンタルヘルスデータセットを英語から6言語に翻訳した新しい多言語適応法を提案する。 このデータセットは、精神状態を検出し、複数の言語にわたる重症度を評価する上で、LLMのパフォーマンスを総合的に評価することを可能にする。
  論文  参考訳（メタデータ） (2024-09-25T22:14:34Z)
• Uncertainty-aware Medical Diagnostic Phrase Identification and Grounding [72.18719355481052]
  MRG(Messical Report Grounding)と呼ばれる新しい課題について紹介する。 MRGは医療報告から診断フレーズとその対応する接地箱を直接エンドツーエンドで識別することを目的としている。 マルチモーダルな大規模言語モデルを用いて診断フレーズを予測する,堅牢で信頼性の高いフレームワークである uMedGround を提案する。
  論文  参考訳（メタデータ） (2024-04-10T07:41:35Z)
• Med-UniC: Unifying Cross-Lingual Medical Vision-Language Pre-Training by Diminishing Bias [38.26934474189853]
  Med-UniC (Med-UniC) は、英語とスペイン語のマルチモーダル医療データを統合したものである。 Med-UniCは、5つの医療画像タスクと30以上の疾患を含む10のデータセットで優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-05-31T14:28:19Z)
• Cross-lingual Argument Mining in the Medical Domain [6.0158981171030685]
  注釈付きデータがない医療用テキストでArgument Mining(AM)を実行する方法を示す。 我々の研究は、アノテーション(データ転送)を英語から特定のターゲット言語に自動翻訳・投影することは、注釈付きデータを生成する効果的な方法であることを示している。 また、スペイン語で自動生成されたデータを用いて、元の英語単言語設定の結果を改善する方法も示す。
  論文  参考訳（メタデータ） (2023-01-25T11:21:12Z)
• Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of Code-Mixed Clinical Texts [56.72488923420374]
  事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。 脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
  論文  参考訳（メタデータ） (2022-04-10T21:46:52Z)
• On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
  言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。 教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。 我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T08:10:27Z)
• CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
  中国初のバイオメディカル言語理解評価ベンチマークを提示する。 名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。 本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-15T12:25:30Z)
• Benchmarking Automated Clinical Language Simplification: Dataset, Algorithm, and Evaluation [48.87254340298189]
  我々はMedLaneという名の新しいデータセットを構築し、自動化された臨床言語簡易化手法の開発と評価を支援する。 我々は,人間のアノテーションの手順に従い,最先端のパフォーマンスを実現するDECLAREと呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-12-04T06:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。