論文の概要: Medical Coding with Biomedical Transformer Ensembles and Zero/Few-shot
Learning
- arxiv url: http://arxiv.org/abs/2206.02662v1
- Date: Sun, 1 May 2022 22:49:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-14 23:10:17.936797
- Title: Medical Coding with Biomedical Transformer Ensembles and Zero/Few-shot
Learning
- Title(参考訳): バイオメディカルトランスを用いた医療符号化とゼロショット学習
- Authors: Angelo Ziletti, Alan Akbik, Christoph Berns, Thomas Herold, Marion
Legler, Martina Viell
- Abstract要約: 医用符号化(MC)は、信頼性の高いデータ検索とレポートに必須の前提条件である。
我々は、従来のBERTに基づく分類と最近のゼロ/ファウショット学習手法(TARS)を組み合わせたxTARSという新しいアプローチを提案する。
- 参考スコア(独自算出の注目度): 2.857247558624978
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Medical coding (MC) is an essential pre-requisite for reliable data retrieval
and reporting. Given a free-text reported term (RT) such as "pain of right
thigh to the knee", the task is to identify the matching lowest-level term
(LLT) - in this case "unilateral leg pain" - from a very large and continuously
growing repository of standardized medical terms. However, automating this task
is challenging due to a large number of LLT codes (as of writing over 80,000),
limited availability of training data for long tail/emerging classes, and the
general high accuracy demands of the medical domain. With this paper, we
introduce the MC task, discuss its challenges, and present a novel approach
called xTARS that combines traditional BERT-based classification with a recent
zero/few-shot learning approach (TARS). We present extensive experiments that
show that our combined approach outperforms strong baselines, especially in the
few-shot regime. The approach is developed and deployed at Bayer, live since
November 2021. As we believe our approach potentially promising beyond MC, and
to ensure reproducibility, we release the code to the research community.
- Abstract(参考訳): 医療符号化 (mc) は信頼性の高いデータ検索と報告に必須の前提条件である。
右大腿の膝への痛み」のような自由文語(RT)が与えられた場合、その課題は、標準化された医療用語の非常に大きく連続的に成長しているリポジトリから、一致した下肢の痛み(LLT)を識別することである。
しかし、このタスクの自動化は、多数のLLTコード(8万以上の書き込み)、長い尾/新興クラスのトレーニングデータの可用性の制限、医療領域の一般的な高精度な要求のために困難である。
本稿では,mcタスクを紹介し,その課題について議論し,従来のbertに基づく分類と最近のzero/few-shot learningアプローチ(tars)を組み合わせたxtarsと呼ばれる新しいアプローチを提案する。
本研究は,特に数発体制において,我々の組み合わせによるアプローチが強いベースラインよりも優れていることを示す広範な実験である。
このアプローチは2021年11月からバイエルで開発および展開が続けられている。
当社のアプローチがmcを超える可能性を秘めており、再現性を確保するため、コードを研究コミュニティにリリースしています。
関連論文リスト
- To Generate or to Retrieve? On the Effectiveness of Artificial Contexts
for Medical Open-Domain Question Answering [19.554275869652315]
本稿では,医学における質問応答のための第1世代読解フレームワークであるMedGENIEについて述べる。
MedQA-USMLE, MedMCQA, MMLUについて, 最大24GB VRAMを仮定して, 実用的視点を取り入れた広範囲な実験を行った。
論文 参考訳(メタデータ) (2024-03-04T10:41:52Z) - ChiMed-GPT: A Chinese Medical Large Language Model with Full Training
Regime and Better Alignment to Human Preferences [55.42521181558716]
中国医学領域向けに設計された新しいベンチマークLSMであるChiMed-GPTを提案する。
ChiMed-GPTは、コンテキスト長を4,096トークンに拡大し、事前トレーニング、SFT、RLHFを含む総合的なトレーニング体制を実行している。
情報抽出,質問応答,対話生成などの実世界のタスクの評価は,一般的なドメインLLMよりもChiMed-GPTの方が優れた性能を示している。
論文 参考訳(メタデータ) (2023-11-10T12:25:32Z) - Benchmarking Collaborative Learning Methods Cost-Effectiveness for
Prostate Segmentation [39.19170617818745]
我々は,MRIによる前立腺分節化問題に協調的なシナリオで対処する。
私たちの知る限りでは、コラボレーティブラーニングの問題を解決するためにコンセンサスベースの手法(CBM)が使用されるのはこれが初めてです。
論文 参考訳(メタデータ) (2023-09-29T09:47:18Z) - Knowledge-injected Prompt Learning for Chinese Biomedical Entity
Normalization [6.927883826415262]
本稿では,バイオメディカルエンティティ正規化(BEN)課題に取り組むために,知識注入型プロンプト学習(PL-Knowledge)手法を提案する。
具体的には、候補エンティティマッチング、知識抽出、知識符号化、知識注入、予測出力の5段階からなる。
医療機関に含まれる知識項目を効果的に符号化することにより、追加の知識は、医療機関間の潜伏関係を捕捉するモデルの能力を高める。
論文 参考訳(メタデータ) (2023-08-23T09:32:40Z) - Learnable Weight Initialization for Volumetric Medical Image
Segmentation [54.1807206010136]
本稿では,学習可能な重みに基づくハイブリッド医療画像セグメンテーション手法を提案する。
我々のアプローチはどんなハイブリッドモデルにも簡単に統合でき、外部のトレーニングデータを必要としない。
多臓器・肺がんセグメンテーションタスクの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2023-06-15T17:55:05Z) - PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。
LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。
PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
論文 参考訳(メタデータ) (2023-04-27T18:29:05Z) - Towards Medical Artificial General Intelligence via Knowledge-Enhanced
Multimodal Pretraining [121.89793208683625]
医療人工知能(MAGI)は、1つの基礎モデルで異なる医療課題を解くことができる。
我々は、Micical-knedge-enhanced mulTimOdal pretRaining (motoR)と呼ばれる新しいパラダイムを提案する。
論文 参考訳(メタデータ) (2023-04-26T01:26:19Z) - Large-scale Pre-trained Models are Surprisingly Strong in Incremental
Novel Class Discovery [76.35226130521758]
我々は,MSc-iNCDという,より挑戦的で実践的な学習パラダイムを提案する。
本研究では,MSc-iNCDという,より困難で実践的な学習パラダイムを提案する。
論文 参考訳(メタデータ) (2023-03-28T13:47:16Z) - Knowledge Injected Prompt Based Fine-tuning for Multi-label Few-shot ICD
Coding [7.8183215844641]
本研究は,ラベルセマンティクスを用いたプロンプトベースファインチューニング手法を適用することで,長期的課題に対処する。
コード代入のベンチマークデータセットであるMIMIC-III-fullの実験により,提案手法はマルコF1の14.5%で従来の最先端手法よりも優れた性能を示した。
本モデルでは, マルコF1を17.1から30.4に改善し, マイクロF1を17.2から32.6に改善した。
論文 参考訳(メタデータ) (2022-10-07T03:25:58Z) - Read, Attend, and Code: Pushing the Limits of Medical Codes Prediction
from Clinical Notes by Machines [0.42641920138420947]
医用コード代入マッピングを学習するための、読み取り、 attend、および Code (RAC) モデルを提示する。
RACは、現在最高のマクロF1を18.7%上回るSOTA(the New State of the Art)を確立している。
この新たなマイルストーンは、マシンにおける完全自律型医療コーディング(AMC)への重要な一歩となる。
論文 参考訳(メタデータ) (2021-07-10T06:01:58Z) - Federated Semi-supervised Medical Image Classification via Inter-client
Relation Matching [58.26619456972598]
フェデレートラーニング(FL)は、ディープ・ネットワークのトレーニングのために、分散医療機関とのコラボレーションで人気が高まっている。
本報告では,実践的かつ困難なFL問題であるtextitFederated Semi-supervised Learning (FSSL)について検討する。
本稿では, 従来の整合性正規化機構を改良し, クライアント間関係マッチング方式を提案する。
論文 参考訳(メタデータ) (2021-06-16T07:58:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。