論文の概要: Consensus Measures for Unstructured Biomedical Text Annotations
- arxiv url: http://arxiv.org/abs/2608.03529v2
- Date: Wed, 05 Aug 2026 11:23:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-06 14:48:43.257132
- Title: Consensus Measures for Unstructured Biomedical Text Annotations
- Title（参考訳）: 非構造化バイオメディカルテキストアノテーションに対する合意措置
- Authors: Pascal Wullschleger, Christian Kreis, Martin A. Walter, Jennifer Foster, Marc Pouly,
- Abstract要約: バイオメディカルアノテーションタスクのための非構造化テキストを提供するアノテータのソフト・インターレータ信頼性について検討した。
様々な意味的等価度尺度を用いて,ソフトな信頼性を定量化できることが示唆された。
我々は,自然言語推論に基づく尺度を合理的な妥協として提案する。
- 参考スコア（独自算出の注目度）: 5.516379363805726
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Biomedical literature is increasingly mined for knowledge beyond the questions it was written to answer. Because the target concepts are not known in advance, annotators prefer open-ended labels, whose agreement is hard to quantify. We study soft inter-rater reliability for annotators providing unstructured texts for biomedical annotation tasks. Synthetic experiments show that soft reliability can be quantified using a variety of semantic equivalence measures, and that the choice of measure affects failure modes of the estimation. Embeddings are scalable, but limited when differentiating similar but distinct concepts. Large language models are promising, but limited by scalability for estimating agreement by chance. Finally, we suggest measures based on natural language inference as a sensible compromise.
- Abstract（参考訳）: 生物医学の文献は、それが答えるために書かれた質問以外の知識のためにますます掘り下げられている。
対象の概念は事前に分かっていないため、アノテータは、定量化が難しいオープンエンドラベルを好む。
バイオメディカルアノテーションタスクのための非構造化テキストを提供するアノテータのソフト・インターレータ信頼性について検討した。
合成実験により、様々な意味的等価度尺度を用いてソフトな信頼性を定量化でき、測定の選択が推定の失敗モードに影響を与えることが示された。
埋め込みはスケーラブルだが、似ているが異なる概念を区別する際に制限される。
大規模な言語モデルは有望だが、偶然に合意を見積もるためのスケーラビリティによって制限されている。
最後に,自然言語推論に基づく尺度を合理的な妥協として提案する。
関連論文リスト
- ReportMedSAM: Guiding Segmentation Through Radiology Reports [44.07905920142891]
ReportMedSAMは、個別の抽出を学習可能なコンセプトバンクに置き換えるレポート駆動フレームワークである。
本手法は, 臓器レベルでの意味的崩壊を緩和し, 多様な臨床同義語に対して高い堅牢性を確保する。
ReportMedSAMは、フリーフォームレポートを効果的に解釈し、競合セグメンテーションの精度を達成し、新しい臨床タスクへのシームレスで非干渉的な拡張を示す。
論文 参考訳（メタデータ） (2026-05-08T13:32:15Z) - A Formal Framework for Uncertainty Analysis of Text Generation with Large Language Models [4.554894288663752]
LLM(Large Language Models)を用いたテキスト生成は本質的に不確実である。
これらの異なる側面を考慮に入れた不確実性の測定のための公式なフレームワークを提供する。
論文 参考訳（メタデータ） (2026-03-27T12:44:37Z) - QIME: Constructing Interpretable Medical Text Embeddings via Ontology-Grounded Questions [29.87717901839441]
解釈可能な医療用テキスト埋め込みを構築するためのオントロジーを基盤としたフレームワークであるQIMEを提案する。
QIMEは、バイオメディカルテキストのきめ細かい区別を捉える意味論的原子的質問を生成する。
そこで本研究では,QIMEが従来の解釈可能な埋め込み手法よりも優れており,そのギャップを強力なブラックボックスバイオメディカルエンコーダにかなり狭めていることを示す。
論文 参考訳（メタデータ） (2026-03-02T10:18:06Z) - The Medium Is Not the Message: Deconfounding Document Embeddings via Linear Concept Erasure [98.71456610527598]
埋め込みベースの類似度メトリクスは、テキストのソースや言語のような刺激的な属性に影響される可能性がある。
本稿では,エンコーダ表現から観測された共同創設者に関する情報を除去するデバイアスアルゴリズムにより,これらのバイアスを最小の計算コストで大幅に低減することを示す。
論文 参考訳（メタデータ） (2025-07-01T23:17:12Z) - Certainly Uncertain: A Benchmark and Metric for Multimodal Epistemic and Aleatoric Awareness [106.52630978891054]
視覚言語AIシステムに特有の不確実性の分類法を提案する。
また、精度と校正誤差の両方によく相関する新しい計量信頼度重み付き精度を導入する。
論文 参考訳（メタデータ） (2024-07-02T04:23:54Z) - Large-scale investigation of weakly-supervised deep learning for the
fine-grained semantic indexing of biomedical literature [7.171698704686836]
本研究では,MeSH概念のレベルでのアノテーションの自動修正手法を提案する。
提案手法は,デクリプタに促進された概念に基づいて,大規模なふりかえりシナリオに基づいて評価する。
論文 参考訳（メタデータ） (2023-01-23T10:33:22Z) - Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。
この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
論文 参考訳（メタデータ） (2022-03-16T15:00:33Z) - Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。
本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。
本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。
セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
論文 参考訳（メタデータ） (2021-10-04T03:59:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。