論文の概要: Noise reduction in BERT NER models for clinical entity extraction

• arxiv url: http://arxiv.org/abs/2603.00022v1
• Date: Tue, 03 Feb 2026 16:35:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 01:20:07.96503
• Title: Noise reduction in BERT NER models for clinical entity extraction
• Title（参考訳）: 臨床的実体抽出のためのBERT NERモデルのノイズ低減
• Authors: Kuldeep Jiwani, Yash K Jeengar, Ayush Dhaka,
• Abstract要約: ノイズ除去(NR)モデルは、予測を弱いか強いかに分類する。 PDMはトランスフォーマーの埋め込みで観察されるセマンティック・プル効果を捉えている。 各種臨床NERモデルの偽陽性率を50%から90%削減することができた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Precision is of utmost importance in the realm of clinical entity extraction from clinical notes and reports. Encoder Models fine-tuned for Named Entity Recognition (NER) are an efficient choice for this purpose, as they don't hallucinate. We pre-trained an in-house BERT over clinical data and then fine-tuned it for NER. These models performed well on recall but could not close upon the high precision range, needed for clinical models. To address this challenge, we developed a Noise Removal model that refines the output of NER. The NER model assigns token-level entity tags along with probability scores for each token. Our Noise Removal (NR) model then analyzes these probability sequences and classifies predictions as either weak or strong. A naïve approach might involve filtering predictions based on low probability values; however, this method is unreliable. Owing to the characteristics of the SoftMax function, Transformer based architectures often assign disproportionately high confidence scores even to uncertain or weak predictions, making simple thresholding ineffective. To address this issue, we adopted a supervised modeling strategy in which the NR model leverages advanced features such as the Probability Density Map (PDM). The PDM captures the Semantic-Pull effect observed within Transformer embeddings, an effect that manifests in the probability distributions of NER class predictions across token sequences. This approach enables the model to classify predictions as weak or strong with significantly improved accuracy. With these NR models we were able to reduce False Positives across various clinical NER models by 50\% to 90\%.
• Abstract（参考訳）: 精度は、臨床記録や報告から臨床実体を抽出する領域において最も重要である。 名前付きエンティティ認識(NER)用に微調整されたエンコーダモデルは、幻覚しないため、この目的のために効率的な選択である。 臨床データより社内BERTを事前訓練し,NERのために微調整した。 これらのモデルはリコール時に良好に動作したが、臨床モデルに必要な高精度な範囲には届かなかった。 この課題に対処するため,NERの出力を改良するノイズ除去モデルを開発した。 NERモデルはトークンレベルのエンティティタグとトークン毎の確率スコアを割り当てる。 我々のノイズ除去(NR)モデルは、これらの確率列を分析し、予測を弱いか強いかのどちらかに分類する。 ナイーブの手法は、低い確率値に基づいてフィルタリング予測を行うが、この手法は信頼性が低い。 ソフトマックス関数の特徴から、トランスフォーマーベースのアーキテクチャは不確実または弱い予測にも不当に高い信頼度を割り当てることが多く、単純な閾値付けを効果的にしない。 この問題に対処するために、我々は、NRモデルが確率密度マップ(PDM)のような高度な特徴を利用する教師付きモデリング戦略を採用した。 PDMはトランスフォーマーの埋め込みで観察されるセマンティック・プル効果を捉え、トークン列間のNERクラスの予測の確率分布に現れる効果である。 このアプローチにより、モデルは予測を弱いか強いかに分類でき、精度は大幅に向上する。 これらのNRモデルにより,各種臨床NERモデルの偽陽性率を50%から90%削減することができた。

関連論文リスト

• Uncertainty-Guided Model Selection for Tabular Foundation Models in Biomolecule Efficacy Prediction [3.108481950101193]
  本研究では,モデル選択のための不確実性誘導戦略について検討する。 本研究では,直列型特徴量を用いたTabPFNモデルが,最先端の予測器を上回りうることを示す。
  論文  参考訳（メタデータ） (2025-10-02T18:33:19Z)
• Evaluating Temperature Scaling Calibration Effectiveness for CNNs under Varying Noise Levels in Brain Tumour Detection [0.18472148461613158]
  我々は、カスタムCNNを開発し、それを統合された脳MRIデータセットでトレーニングする。 実世界の不確実性をシミュレートするために,ガウス,ポアソン,ソルト&ペッパー,スペックル,ユニフォームの5種類の画像ノイズが導入された。 その結果、TSは分類精度を低下させることなく、全ての雑音条件下でECEとNLLを著しく低下させることが示された。
  論文  参考訳（メタデータ） (2025-09-29T15:46:23Z)
• Evaluating the Impact of Radiographic Noise on Chest X-ray Semantic Segmentation and Disease Classification Using a Scalable Noise Injection Framework [4.910952612437441]
  我々は2つの重要な胸部X線作業における量子(Poisson)と電子(Gaussian)ノイズのシミュレーションに対する最先端畳み込みニューラルネットワーク(CNN)の堅牢性を評価する。 セマンティックセグメンテーションモデルは非常に脆弱で、肺セグメンテーション性能は重度の電子ノイズ下で崩壊した。 我々は、AtelectasisとPneumothoraxを区別するなどの特定のタスクが、量子ノイズの下で破滅的に失敗することを発見した。
  論文  参考訳（メタデータ） (2025-09-28T05:09:43Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• How to Fix a Broken Confidence Estimator: Evaluating Post-hoc Methods for Selective Classification with Deep Neural Networks [1.4502611532302039]
  我々は,ロジットの単純な$p$-norm正規化を行い,次に最大ロジットを信頼度推定器とすることで,選択的分類性能が著しく向上することを示した。 我々の結果は、分布シフトの下で一貫していることが示されている。
  論文  参考訳（メタデータ） (2023-05-24T18:56:55Z)
• Clinical Deterioration Prediction in Brazilian Hospitals Based on Artificial Neural Networks and Tree Decision Models [56.93322937189087]
  超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
  論文  参考訳（メタデータ） (2022-12-17T23:29:14Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。