論文の概要: Efficient and Reliable Estimation of Named Entity Linking Quality: A Case Study on GutBrainIE

• arxiv url: http://arxiv.org/abs/2601.06624v1
• Date: Sat, 10 Jan 2026 17:18:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:00.905254
• Title: Efficient and Reliable Estimation of Named Entity Linking Quality: A Case Study on GutBrainIE
• Title（参考訳）: 名前付きエンティティリンク品質の効率的・信頼性評価:GutBrainIEを事例として
• Authors: Marco Martinelli, Stefano Marchesin, Gianmaria Silvello,
• Abstract要約: 名前付きエンティティリンク(NEL)は、バイオメディカル情報抽出(IE)パイプラインの中核となるコンポーネントである。 大規模IEコーパスのNEL精度を推定するためのサンプリングベースフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 3.361293040161506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Named Entity Linking (NEL) is a core component of biomedical Information Extraction (IE) pipelines, yet assessing its quality at scale is challenging due to the high cost of expert annotations and the large size of corpora. In this paper, we present a sampling-based framework to estimate the NEL accuracy of large-scale IE corpora under statistical guarantees and constrained annotation budgets. We frame NEL accuracy estimation as a constrained optimization problem, where the objective is to minimize expected annotation cost subject to a target Margin of Error (MoE) for the corpus-level accuracy estimate. Building on recent works on knowledge graph accuracy estimation, we adapt Stratified Two-Stage Cluster Sampling (STWCS) to the NEL setting, defining label-based strata and global surface-form clusters in a way that is independent of NEL annotations. Applied to 11,184 NEL annotations in GutBrainIE -- a new biomedical corpus openly released in fall 2025 -- our framework reaches a MoE $\leq 0.05$ by manually annotating only 2,749 triples (24.6%), leading to an overall accuracy estimate of $0.915 \pm 0.0473$. A time-based cost model and simulations against a Simple Random Sampling (SRS) baseline show that our design reduces expert annotation time by about 29% at fixed sample size. The framework is generic and can be applied to other NEL benchmarks and IE pipelines that require scalable and statistically robust accuracy assessment.
• Abstract（参考訳）: 名前付きエンティティリンク(NEL)は、バイオメディカル情報抽出(IE)パイプラインの中核的なコンポーネントであるが、専門家のアノテーションのコストが高く、コーパスのサイズが大きいため、その品質を大規模に評価することは困難である。 本稿では,統計的保証と制約付きアノテーション予算の下で,大規模なIEコーパスのNEL精度を推定するためのサンプリングベースフレームワークを提案する。 NELの精度推定を制約付き最適化問題とみなし、その目的は、コーパスレベルの精度推定において、目標誤差(MoE)の対象となるアノテーションコストを最小化することである。 知識グラフの精度評価に関する最近の研究に基づいて、NELアノテーションとは独立してラベルベースの層とグローバルな表面形クラスタを定義することによって、STWCS(Stratified Two-Stage Cluster Smpling)をNEL設定に適用する。 GutBrainIEの11,184のNELアノテーション -- 2025年秋に公開された新しいバイオメディカルコーパス -- に適用すると、我々のフレームワークは、手動で2,749トリプル(24.6%)を注釈付けすることで、MoE$\leq 0.05$に達し、全体的な精度は0.915 \pm 0.0473$になる。 SRS(Simple Random Smpling)ベースラインに対する時間ベースのコストモデルとシミュレーションにより、我々の設計は、一定のサンプルサイズで専門家のアノテーション時間を約29%短縮することを示した。 このフレームワークは汎用的であり、スケーラブルで統計的に堅牢な精度評価を必要とする他のNELベンチマークやIEパイプラインに適用することができる。

関連論文リスト

• NAIPv2: Debiased Pairwise Learning for Efficient Paper Quality Estimation [58.30936615525824]
  本稿では,紙の品質評価のための非バイアスで効率的なフレームワークであるNAIPv2を提案する。 NAIPv2は、レビューアレーティングの不整合を低減するために、ドメイン年グループ内でペアワイズ学習を採用している。 これはペアワイズ比較に基づいてトレーニングされるが、デプロイ時に効率的なポイントワイズ予測を可能にする。
  論文  参考訳（メタデータ） (2025-09-29T17:59:23Z)
• Uncertainty-Guided Expert-AI Collaboration for Efficient Soil Horizon Annotation [0.13999481573773068]
  土壌プロファイルを記述するためのマルチモーダルマルチタスクモデルである$textitSoilNet$に共形予測を適用する。 我々は,モデルの不確実性が高い場合に,基本真理アノテーションを得るための限られた予算が利用できる,シミュレーションされたHILアノテーションパイプラインを設計する。 実験により、SoilNetの適合性は回帰タスクにおけるより効率的なアノテーションと分類タスクにおける同等のパフォーマンススコアをもたらすことが示された。
  論文  参考訳（メタデータ） (2025-09-29T14:54:23Z)
• Importance Sampling is All You Need: Predict LLM's performance on new benchmark by reusing existing benchmark [38.42021928363628]
  既存のベンチマークは、(1)高品質なテストスイートと参照ソリューションを構築するためのエスカレートコスト、(2)データ汚染のリスクの増加という2つの大きな課題に直面している。 我々は,コード生成タスク上でのLLM性能のゼロトラストフリー予測を可能にする,プロンプト中心評価フレームワークであるBISを提案する。 本フレームワークでは,コード正当性スコアの平均絶対誤差が1.1%であり,それぞれ0.3%,最悪のエラーが1.9%である。
  論文  参考訳（メタデータ） (2025-08-02T05:34:05Z)
• Regime-Aware Conditional Neural Processes with Multi-Criteria Decision Support for Operational Electricity Price Forecasting [0.0]
  この研究は、ドイツ市場における24時間電気価格予測のための状態検出と条件付きニューラルプロセスを統合する。 ディープニューラルネットワーク(DNN)とLassoの推定自己回帰(LEAR)モデルに対してR-NPを厳格に評価した。 R-NPモデルは2021年、2022年、2023年に最もバランスよく好まれる解として登場した。
  論文  参考訳（メタデータ） (2025-07-31T09:12:25Z)
• Cost-Optimal Active AI Model Evaluation [71.2069549142394]
  生成AIシステムの開発には、継続的な評価、データ取得、アノテーションが必要である。 我々は、安価だがしばしば不正確で弱いレーダの使用を積極的にバランスさせる新しいコスト認識手法を開発した。 我々は、弱者と強者の間で所定のアノテーション予算を割り当てるためのコスト最適化政策のファミリーを導出する。
  論文  参考訳（メタデータ） (2025-06-09T17:14:41Z)
• Benign Overfitting in Out-of-Distribution Generalization of Linear Models [19.203753135860016]
  我々は、アウト・オブ・ディストリビューション(OOD)体制における良心過剰の理解に向けて、最初の一歩を踏み出した。 我々は、標準的な隆起回帰において良性過剰適合が生じることを証明する非漸近保証を提供する。 また、より一般的な目標共分散行列の族についても理論的結果を示す。
  論文  参考訳（メタデータ） (2024-12-19T02:47:39Z)
• A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport [92.96250725599958]
  カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。 SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-21T18:48:45Z)
• Uncertainty Quantification over Graph with Conformalized Graph Neural Networks [52.20904874696597]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データに基づく強力な機械学習予測モデルである。 GNNには厳密な不確実性見積が欠如しており、エラーのコストが重要な設定での信頼性の高いデプロイメントが制限されている。 本稿では,共形予測(CP)をグラフベースモデルに拡張した共形GNN(CF-GNN)を提案する。
  論文  参考訳（メタデータ） (2023-05-23T21:38:23Z)
• Minimum-Risk Recalibration of Classifiers [9.31067660373791]
  平均二乗誤差分解の枠組みにおいて,最小リスク再校正の概念を導入する。 校正分類器の転送には,スクラッチから再校正するのに比べて,ターゲットサンプルが著しく少ないことが示されている。
  論文  参考訳（メタデータ） (2023-05-18T11:27:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。