論文の概要: Preserving Empirical Probabilities in BERT for Small-sample Clinical Entity Recognition
- arxiv url: http://arxiv.org/abs/2409.03238v1
- Date: Thu, 5 Sep 2024 04:38:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 21:57:04.943956
- Title: Preserving Empirical Probabilities in BERT for Small-sample Clinical Entity Recognition
- Title（参考訳）: 小型臨床エンティティ認識のためのBERTにおける経験的確率の保存
- Authors: Abdul Rehman, Jian Jun Zhang, Xiaosong Yang,
- Abstract要約: 本稿では,BERTをベースとした事前学習モデルの非バランスなエンティティラベルの効果について検討する。
ランダム化データセットにおけるトークン分類タスクにおける損失計算と損失伝播の異なるメカニズムを解析する。
- 参考スコア（独自算出の注目度）: 5.466034990848432
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Named Entity Recognition (NER) encounters the challenge of unbalanced labels, where certain entity types are overrepresented while others are underrepresented in real-world datasets. This imbalance can lead to biased models that perform poorly on minority entity classes, impeding accurate and equitable entity recognition. This paper explores the effects of unbalanced entity labels of the BERT-based pre-trained model. We analyze the different mechanisms of loss calculation and loss propagation for the task of token classification on randomized datasets. Then we propose ways to improve the token classification for the highly imbalanced task of clinical entity recognition.
- Abstract（参考訳）: 名前付きエンティティ認識(NER)は、特定のエンティティタイプが過剰に表現され、他のエンティティが実際のデータセットで不足している、アンバランスなラベルの課題に直面する。
この不均衡は、マイノリティエンティティクラスで不十分なバイアスモデルをもたらし、正確で公平なエンティティ認識を妨げる可能性がある。
本稿では,BERTをベースとした事前学習モデルの非バランスなエンティティラベルの効果について検討する。
ランダム化データセットにおけるトークン分類タスクにおける損失計算と損失伝播の異なるメカニズムを解析する。
次に,臨床エンティティ認識の高度不均衡課題に対するトークン分類の改善手法を提案する。
関連論文リスト
- Energy Score-based Pseudo-Label Filtering and Adaptive Loss for Imbalanced Semi-supervised SAR target recognition [1.2035771704626825]
既存の半教師付きSAR ATRアルゴリズムは、クラス不均衡の場合、認識精度が低い。
この研究は、動的エネルギースコアと適応損失を用いた非平衡半教師付きSAR目標認識手法を提供する。
論文 参考訳（メタデータ） (2024-11-06T14:45:16Z) - Pedestrian Attribute Recognition as Label-balanced Multi-label Learning [12.605514698358165]
本稿では,ラベルバランスの取れたデータを,属性共起の呪いから再サンプリングする手法を提案する。
我々の研究は、様々な一般的なベンチマークで、そして最も重要なことは、最小限の計算予算で、最高の精度を達成する。
論文 参考訳（メタデータ） (2024-05-08T07:27:15Z) - Learning with Imbalanced Noisy Data by Preventing Bias in Sample
Selection [82.43311784594384]
実世界のデータセットには、ノイズの多いラベルだけでなく、クラス不均衡も含まれている。
不均衡なデータセットにおけるノイズラベルに対処する,単純かつ効果的な手法を提案する。
論文 参考訳（メタデータ） (2024-02-17T10:34:53Z) - Exploring Vacant Classes in Label-Skewed Federated Learning [113.65301899666645]
クライアント間の局所的なラベル分布の相違を特徴とするラベルスキューは、連合学習において大きな課題となる。
本稿では, ラベルスキュード・フェデレート学習における新しい手法であるFedVLSについて紹介する。
論文 参考訳（メタデータ） (2024-01-04T16:06:31Z) - Neighbour Consistency Guided Pseudo-Label Refinement for Unsupervised
Person Re-Identification [80.98291772215154]
教師なしの人物再識別(ReID)は、アノテーションを使わずに人物検索のための識別的アイデンティティの特徴を学習することを目的としている。
近年の進歩はクラスタリングに基づく擬似ラベルを活用することで実現されている。
本稿では, Pseudo Label Refinement フレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-30T09:39:57Z) - Robust Neural Network Classification via Double Regularization [2.41710192205034]
本稿では、分類モデルの複雑さに対するペナルティと、学習観察の最適な再重み付けを組み合わせた、ニューラルネットワークトレーニング損失の新しい二重正則化を提案する。
我々は, (i) MNIST と (ii) CIFAR-10 のニューラルネット分類のための DRFit について, 両者の相違点について実証した。
論文 参考訳（メタデータ） (2021-12-15T13:19:20Z) - Disentangling Sampling and Labeling Bias for Learning in Large-Output
Spaces [64.23172847182109]
異なる負のサンプリングスキームが支配的ラベルと稀なラベルで暗黙的にトレードオフパフォーマンスを示す。
すべてのラベルのサブセットで作業することで生じるサンプリングバイアスと、ラベルの不均衡に起因するデータ固有のラベルバイアスの両方に明示的に対処する統一された手段を提供する。
論文 参考訳（メタデータ） (2021-05-12T15:40:13Z) - Exploiting Sample Uncertainty for Domain Adaptive Person
Re-Identification [137.9939571408506]
各サンプルに割り当てられた擬似ラベルの信頼性を推定・活用し,ノイズラベルの影響を緩和する。
不確実性に基づく最適化は大幅な改善をもたらし、ベンチマークデータセットにおける最先端のパフォーマンスを達成します。
論文 参考訳（メタデータ） (2020-12-16T04:09:04Z) - Data Augmentation Imbalance For Imbalanced Attribute Classification [60.71438625139922]
本稿では,データ拡張不均衡(DAI)と呼ばれる新しい再サンプリングアルゴリズムを提案する。
我々のDAIアルゴリズムは歩行者属性のデータセットに基づいて最先端の結果を得る。
論文 参考訳（メタデータ） (2020-04-19T20:43:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。