論文の概要: What Do Biomedical NER and Entity Linking Benchmarks Measure? A Corpus-Centric Diagnostic Framework

• arxiv url: http://arxiv.org/abs/2605.20537v1
• Date: Tue, 19 May 2026 22:19:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-21 19:19:56.398448
• Title: What Do Biomedical NER and Entity Linking Benchmarks Measure? A Corpus-Centric Diagnostic Framework
• Title（参考訳）: バイオメディカルNERとエンティティリンクベンチマークは何か? コーパス中心診断フレームワーク
• Authors: Robert Leaman, Rezarta Islamaj, Zhiyong Lu,
• Abstract要約: 注釈付きコーパスからベンチマーク関連プロパティを診断するためのコーパス中心のフレームワークを提案する。 この枠組みを病気、化学物質、細胞タイプにまたがる9つのコーパスに適用すると、コーパスの性質は著しく異なることが判明した。
• 参考スコア（独自算出の注目度）: 6.2370872977761715
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Biomedical named entity recognition (NER) and entity linking (EL) strongly depend on annotated corpora, but the utility of these resources for benchmarking is often assumed rather than characterized. We present a corpus-centric framework for diagnosing benchmark-relevant properties directly from corpus annotations, concept links, train-test splits, document metadata, and terminology mappings. The framework organizes standardized statistics into five families: (1) scale, density and label distribution, (2) lexical and conceptual structure, (3) train-test overlap, (4) metadata composition, and (5) terminology coverage where applicable. Applying the framework to nine corpora spanning diseases, chemicals, and cell types, we find that corpus properties can differ substantially, even when they address the same apparent task. We find differences in the evaluation signal they provide, the generalization demands they impose, the degree of train-test reuse they permit, and the regions of biomedical literature and concept space they represent. These differences suggest that commonly reported corpus statistics can be insufficient to characterize what biomedical NER and EL benchmarks evaluate. We argue that corpus-centric diagnostics provide a practical framework for analyzing corpora beyond surface descriptors such as corpus size and entity type, for identifying potential transfer risks, and for interpreting the scope of benchmarking conclusions. We release the framework as open-source code with an interactive dashboard to support reproducing our analyses and characterizing additional corpora.
• Abstract（参考訳）: バイオメディカルな名前付きエンティティ認識(NER)とエンティティリンク(EL)は注釈付きコーパスに強く依存するが、これらのリソースをベンチマークに利用することは、特徴よりもむしろ想定されることが多い。 コーパスアノテーション,概念リンク,トレイン-テスト分割,文書メタデータ,用語マッピングから直接,ベンチマーク関連プロパティを診断するためのコーパス中心のフレームワークを提案する。 本フレームワークは,(1)スケール,密度,ラベル分布,(2)語彙構造,概念構造,(3)テストオーバーラップ,(4)メタデータ構成,(5)用語カバレッジの5つのカテゴリに分類する。 この枠組みを病気、化学物質、細胞タイプにまたがる9つのコーパスに適用すると、コーパス特性は同一の課題に対処しても大きく異なることが分かる。 提案する評価信号の差異や,それらが課す一般化要求,許容する列車試験の程度,およびそれらが表す生物医学文献や概念空間の領域に違いを見出した。 これらの違いは、一般的に報告されているコーパス統計が、バイオメディカルNERとELベンチマークの評価を特徴づけるには不十分であることを示している。 コーパス中心の診断は、コーパスサイズやエンティティタイプといった表面記述子以外のコーパスを解析し、潜在的な転送リスクを特定し、ベンチマーク結果の範囲を解釈するための実践的な枠組みを提供する。 我々はこのフレームワークをインタラクティブなダッシュボードを備えたオープンソースコードとしてリリースし、分析を再現し、追加コーパスを特徴付けるのをサポートする。

関連論文リスト

• Data-driven Coreference-based Ontology Building [48.995395445597225]
  参照解決は、伝統的に個々の文書理解のコンポーネントとして使用される。 よりグローバルな視点で、すべてのドキュメントレベルのコア参照関係から、ドメインについて何が学べるかを探求します。 コードとともに、クリエイティブ・コモンズライセンスの下でコア参照チェーンをリリースします。
  論文  参考訳（メタデータ） (2024-10-22T14:30:40Z)
• RaTEScore: A Metric for Radiology Report Generation [59.37561810438641]
  本稿では,Radiological Report (Text) Evaluation (RaTEScore) として,新しい実体認識尺度を提案する。 RaTEScoreは、診断結果や解剖学的詳細などの重要な医療機関を強調し、複雑な医学的同義語に対して堅牢であり、否定表現に敏感である。 我々の評価は、RaTEScoreが既存の指標よりも人間の嗜好とより密接に一致していることを示し、確立された公開ベンチマークと、新たに提案したRaTE-Evalベンチマークの両方で検証した。
  論文  参考訳（メタデータ） (2024-06-24T17:49:28Z)
• Efficient Biomedical Entity Linking: Clinical Text Standardization with Low-Resource Techniques [0.0]
  複数の用語は、臨床エンティティと呼ばれることができる同じコア概念を参照することができる。 UMLS(Unified Medical Language System)のようなオントロジーは、何百万もの臨床エンティティを格納するために開発・維持されている。 そこで本稿では,エンティティの曖昧さを解消するために,コンテキストベースとコンテキストレスの省力化手法を提案する。
  論文  参考訳（メタデータ） (2024-05-24T01:14:33Z)
• Uncertainty-aware Medical Diagnostic Phrase Identification and Grounding [72.18719355481052]
  MRG(Messical Report Grounding)と呼ばれる新しい課題について紹介する。 MRGは医療報告から診断フレーズとその対応する接地箱を直接エンドツーエンドで識別することを目的としている。 マルチモーダルな大規模言語モデルを用いて診断フレーズを予測する,堅牢で信頼性の高いフレームワークである uMedGround を提案する。
  論文  参考訳（メタデータ） (2024-04-10T07:41:35Z)
• Cross-corpus Readability Compatibility Assessment for English Texts [6.225179315266989]
  本稿では,新たな評価フレームワークであるクロスコーパステキスト可読性評価を提案する。 このフレームワークは、コーパス:CEFR、CLEC、CLOTH、NES、OSP、RACEの3つの主要なコンポーネントを含んでいる。 この結果,OSPは他のデータセットと大きく異なっていた。
  論文  参考訳（メタデータ） (2023-06-16T09:15:39Z)
• An analysis of full-size Russian complexly NER labelled corpus of Internet user reviews on the drugs based on deep learning and language neural nets [94.37521840642141]
  我々は、インターネットユーザーレビューのフルサイズのロシアの複雑なNERラベルコーパスを提示します。 高度なディープラーニングニューラルネットワークセットは、ロシアのテキストから薬理学的に有意義な実体を抽出するために使用される。
  論文  参考訳（メタデータ） (2021-04-30T19:46:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。