論文の概要: Improving Predictions of Tail-end Labels using Concatenated
BioMed-Transformers for Long Medical Documents
- arxiv url: http://arxiv.org/abs/2112.01718v1
- Date: Fri, 3 Dec 2021 05:06:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 03:32:01.923339
- Title: Improving Predictions of Tail-end Labels using Concatenated
BioMed-Transformers for Long Medical Documents
- Title（参考訳）: 長期医療用バイオメド・トランスフォーマを用いたタイルエンドラベルの予測の改善
- Authors: Vithya Yogarajan, Bernhard Pfahringer, Tony Smith, Jacob Montiel
- Abstract要約: 本研究の目的は,多ラベル問題,特にロングテールラベルにおける低頻度ラベルのF1スコアを改善することである。
TransformerXL を用いて医療コード予測のためのSOTA (State-of-the-art) 結果を得た。
- 参考スコア（独自算出の注目度）: 3.0625089376654664
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-label learning predicts a subset of labels from a given label set for
an unseen instance while considering label correlations. A known challenge with
multi-label classification is the long-tailed distribution of labels. Many
studies focus on improving the overall predictions of the model and thus do not
prioritise tail-end labels. Improving the tail-end label predictions in
multi-label classifications of medical text enables the potential to understand
patients better and improve care. The knowledge gained by one or more
infrequent labels can impact the cause of medical decisions and treatment
plans. This research presents variations of concatenated domain-specific
language models, including multi-BioMed-Transformers, to achieve two primary
goals. First, to improve F1 scores of infrequent labels across multi-label
problems, especially with long-tail labels; second, to handle long medical text
and multi-sourced electronic health records (EHRs), a challenging task for
standard transformers designed to work on short input sequences. A vital
contribution of this research is new state-of-the-art (SOTA) results obtained
using TransformerXL for predicting medical codes. A variety of experiments are
performed on the Medical Information Mart for Intensive Care (MIMIC-III)
database. Results show that concatenated BioMed-Transformers outperform
standard transformers in terms of overall micro and macro F1 scores and
individual F1 scores of tail-end labels, while incurring lower training times
than existing transformer-based solutions for long input sequences.
- Abstract（参考訳）: マルチラベル学習は、ラベル相関を考慮しつつ、未知のインスタンスに対して与えられたラベルセットからラベルのサブセットを予測する。
マルチラベル分類における既知の課題は、ラベルのロングテール分布である。
多くの研究はモデル全体の予測を改善することに焦点を当てており、末尾のラベルを優先しない。
医療テキストの多ラベル分類における末尾ラベル予測の改善により、患者をよりよく理解し、ケアを改善することができる。
1つ以上のラベルによって得られた知識は、医療決定や治療計画の原因に影響を与える可能性がある。
本研究は、2つの主要な目標を達成するためにマルチバイオメドトランスフォーマーを含む連結されたドメイン固有言語モデルのバリエーションを示す。
第一に、複数ラベル問題、特にロングテールラベルにおける不適切なラベルのf1スコアを改善すること、第二に、長い医療用テキストと多元的電子健康記録(ehrs)を扱うことである。
この研究の重要な貢献は、TransformerXLを用いて得られた新しい最先端(SOTA)の結果である。
The Medical Information Mart for Intensive Care (MIMIC-III)データベース上で様々な実験が行われている。
その結果,BioMed-Transformerは,マイクロおよびマクロF1スコア,テールエンドラベルの個別F1スコアで標準変換器より優れており,長い入力シーケンスに対して既存の変換器ベースのソリューションよりもトレーニング時間が短いことがわかった。
関連論文リスト
- FedMLP: Federated Multi-Label Medical Image Classification under Task Heterogeneity [30.49607763632271]
クロスサイロ・フェデレーション・ラーニング(FL)は、分散化された組織がデータのプライバシを保持しながら、協力的にモデルをトレーニングすることを可能にする。
擬似ラベルタグ付けとグローバル知識学習という2つの側面から欠落したクラスに対処する2段階のFedMLPを提案する。
公的に利用可能な2つの医療データセットの実験は、FedMLPの最先端の半教師付きおよびノイズの多いラベル学習アプローチに対する優位性を検証する。
論文 参考訳（メタデータ） (2024-06-27T08:36:43Z) - Biomedical Entity Linking as Multiple Choice Question Answering [48.74212158495695]
本稿では,バイオメディカルエンティティリンクを複数問合せ回答として扱う新モデルであるBioELQAを提案する。
まず、高速検索器を用いて候補エンティティを取得し、生成器に参照と候補エンティティを共同で提示し、選択したエンティティに関連付けられた予測シンボルを出力する。
長い尾を持つエンティティの一般化を改善するため、類似したラベル付きトレーニングインスタンスを手がかりとして検索し、ジェネレータの検索インスタンスで入力する。
論文 参考訳（メタデータ） (2024-02-23T08:40:38Z) - DKEC: Domain Knowledge Enhanced Multi-Label Classification for Diagnosis Prediction [4.94752151268185]
本稿では,診断予測のためのドメイン知識強化分類であるDKECについて述べる。
3つのオンライン医療知識源を用いてDKECを構築し,現実の救急医療サービス(EMS)データセットと電子健康記録(EHR)データセットで評価する。
その結果、DKECは、最先端のラベルワイドアテンションネットワークや、異なるサイズのトランスフォーマーモデルよりも優れていた。
論文 参考訳（メタデータ） (2023-10-10T22:53:15Z) - Retrieval-augmented Multi-label Text Classification [20.100081284294973]
マルチラベルテキスト分類は、大きなラベルセットの設定において難しい課題である。
Retrieval augmentationは、分類モデルのサンプル効率を改善することを目的としている。
本手法は,法および生物医学領域の4つのデータセットに対して評価する。
論文 参考訳（メタデータ） (2023-05-22T14:16:23Z) - Multi-label Classification with High-rank and High-order Label
Correlations [62.39748565407201]
従来の手法では, ラベル行列を低ランク行列係数化した潜在ラベル空間に変換することにより, 高階ラベル相関を捕えることができた。
本稿では,高次ラベル相関を明示的に記述する簡易かつ効果的な手法を提案し,同時にラベル行列の高次値を維持する。
12個のベンチマークデータセットの比較研究により,マルチラベル分類における提案アルゴリズムの有効性が検証された。
論文 参考訳（メタデータ） (2022-07-09T05:15:31Z) - Statistical Dependency Guided Contrastive Learning for Multiple Labeling
in Prenatal Ultrasound [56.631021151764955]
標準平面認識は出生前超音波(US)スクリーニングにおいて重要な役割を担っている。
我々は,複数の標準平面と対応する解剖学的構造を同時に識別する,新しいマルチラベル学習手法を構築した。
論文 参考訳（メタデータ） (2021-08-11T06:39:26Z) - Modeling Diagnostic Label Correlation for Automatic ICD Coding [37.79764232289666]
ラベル相関をキャプチャして自動ICD符号化を改善するための2段階フレームワークを提案する。
具体的には,ラベル集合分布推定器を訓練し,各ラベル集合候補の確率を再評価する。
実験では,提案フレームワークはMIMICベンチマークデータセット上で最高の性能の予測器を改善することができる。
論文 参考訳（メタデータ） (2021-06-24T07:26:30Z) - A Study on the Autoregressive and non-Autoregressive Multi-label
Learning [77.11075863067131]
本稿では,ラベルとラベルの依存関係を共同で抽出する自己アテンションに基づく変分エンコーダモデルを提案する。
したがって、ラベルラベルとラベル機能の両方の依存関係を保ちながら、すべてのラベルを並列に予測することができる。
論文 参考訳（メタデータ） (2020-12-03T05:41:44Z) - Collaborative Unsupervised Domain Adaptation for Medical Image Diagnosis [102.40869566439514]
我々は、Unsupervised Domain Adaptation (UDA)を通じて、対象タスクにおける学習を支援するために、関連ドメインからの豊富なラベル付きデータを活用しようとしている。
クリーンなラベル付きデータやサンプルを仮定するほとんどのUDAメソッドが等しく転送可能であるのとは異なり、協調的教師なしドメイン適応アルゴリズムを革新的に提案する。
提案手法の一般化性能を理論的に解析し,医用画像と一般画像の両方で実験的に評価する。
論文 参考訳（メタデータ） (2020-07-05T11:49:17Z) - Interaction Matching for Long-Tail Multi-Label Classification [57.262792333593644]
既存のマルチラベル分類モデルにおいて,制約に対処するためのエレガントで効果的なアプローチを提案する。
ソフトなn-gram相互作用マッチングを実行することで、ラベルと自然言語記述をマッチングする。
論文 参考訳（メタデータ） (2020-05-18T15:27:55Z) - Seeing The Whole Patient: Using Multi-Label Medical Text Classification
Techniques to Enhance Predictions of Medical Codes [2.158285012874102]
18,50,155ラベルの多ラベル医療用テキスト分類問題について報告する。
不均衡なデータに対して、頻繁に発生するラベルは、埋め込みに組み込まれた追加機能から最も恩恵を受けることを示す。
この研究の高次元埋め込みは公共用途に利用可能である。
論文 参考訳（メタデータ） (2020-03-29T02:19:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。