論文の概要: CardioLM: A multilingual suite of small language models for the cardiology domain
- arxiv url: http://arxiv.org/abs/2611.07940v1
- Date: Thu, 05 Nov 2026 12:41:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.68558
- Title: CardioLM: A multilingual suite of small language models for the cardiology domain
- Title(参考訳): CardioLM: 心臓領域のための小言語モデルの多言語スイート
- Abstract要約: 心臓科固有の事前訓練により、偽パープレキシティは最大8倍まで低下したが、少なくとも0.04倍の厳密なスパンレベルF1が変化した。
共同で訓練されたXLM-RoBERTa-largeモデルは、ほぼ全ての言語とエンティティタイプで最高の厳密なF1を達成した。
- 参考スコア(独自算出の注目度): 21.78695843005184
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Background: Cardiovascular care generates large volumes of clinical free-text documentation in local languages. However, clinical natural language processing (NLP) resources remain concentrated in English, and no existing benchmark is cardiology-specific, multilingual, and broad in entity coverage. Methods: We present two contributions. The first is CardioCCC, a corpus of 508 cardiology case reports originally published in Spanish and extended to Czech, Dutch, English, Italian, Romanian, and Swedish through machine translation, annotation projection, and clinician review, with annotations covering diseases, symptoms, procedures, and medications. The second is CardioLM, comprising CardioBERTa, a set of language-specific encoders obtained by continued pretraining on cardiology and biomedical corpora, and CardioNER, a set of named entity recognition (NER) models fine-tuned on CardioCCC. Results: Cardiology-specific pretraining reduced pseudo-perplexity by up to a factor of eight, yet changed strict span-level F1 by at most 0.04, with benefits concentrated in languages whose backbones lacked biomedical coverage. The jointly trained multilingual XLM-RoBERTa-large models achieved the best strict F1 in nearly every language and entity type, exceeding the strongest monolingual system by up to 0.13 F1. A large share of residual errors concerned boundary detection: relaxed matching recovered 0.10-0.23 F1 for disease, procedure, and symptom, but only 0.01-0.07 for medication. Clinicians rated CardioNER well above a rule- and dictionary-based baseline, with the mean rating across entity types rising from 26% to 73%. Conclusions: Specialty-specific pretraining is not the decisive factor for downstream entity recognition, whereas multilingual joint training yields the strongest results in nearly all settings and a simpler deployment path for multi-country clinical information extraction.
- Abstract(参考訳): 背景: 心臓血管ケアは局所言語で大量の臨床自由テキストドキュメンテーションを生成する。
しかし、臨床自然言語処理(NLP)のリソースは英語に集中しており、既存のベンチマークでは心臓学に特有であり、多言語であり、エンティティのカバー範囲が広いものはない。
方法:2つのコントリビューションを提示します。
第一にCardioCCCは、もともとスペインで発行され、チェコ語、オランダ語、英語、イタリア語、ルーマニア語、スウェーデン語に、機械翻訳、アノテーション投影、臨床レビューを通じて拡張された508件の心臓医学の症例報告のコーパスである。
第2のCardioLMは、CardioBERTaと、CardioCCCで微調整された名前付きエンティティ認識(NER)モデルのセットであるCardioNERからなる。
結果: 心臓科固有のプレトレーニングにより, 偽パープレキシティが最大8倍まで低下するが, 背骨に生医学的カバレッジが欠如している言語に便益が集中し, スプレッドレベルF1を少なくとも0.04以上変更した。
共同で訓練されたXLM-RoBERTa-largeモデルは、ほぼ全ての言語とエンティティタイプで最高の厳密なF1を達成し、最強のモノリンガルシステムである0.13 F1を上回った。
境界検出に関する残差のかなりの部分:緩和されたマッチングは、疾患、処置、症状に対して0.10-0.23 F1を回復したが、薬には0.01-0.07しかなかった。
臨床医はCardioNERをルールベースと辞書ベースで評価し、エンティティタイプの平均評価は26%から73%に上昇した。
結論: 専門性特化事前訓練は下流の実体認識において決定的な要因ではなく, 多言語共同訓練は, ほぼすべての設定において最強の成績を示し, 多国間臨床情報抽出のための展開経路を簡素化する。
関連論文リスト
- Multimodal Generative AI Assists Comprehensive Echocardiographic Interpretation [61.37772505977565]
本稿では,包括的な心エコー解析を行う生成視覚言語モデルであるEchoChatを紹介する。
心臓科医の認知ワークフローをエミュレートすることで、EchoChatは膨大な医療知識と思考の連鎖的な推論メカニズムを統合する。
これは、33の心臓状態と所見の最も広い診断範囲をサポートする。
論文 参考訳(メタデータ) (2026-10-23T16:47:01Z) - ClinicalEncoder26AM: A Multlilingual Diagnosable ColBERT Model; Evidences from the MultiClinNER Shared Task [1.6904475483445454]
ClinicalEncoder26AMは、臨床およびバイオメディカルテキストのための多言語診断可能なColBERTである。
患者症状, 障害, 手術スパンに対するBIOタグを微調整し, マルチClinNER共有タスクにおけるモデルの評価を行った。
論文 参考訳(メタデータ) (2026-05-27T14:20:45Z) - Automated ICD Classification of Psychiatric Diagnoses: From Classical NLP to Large Language Models [67.51123543731806]
メンタルヘルスは世界的な優先事項となり、臨床診断のコーディングにおける管理上の負担が大きくなった。
本研究では、自然言語処理(NLP)と機械学習(ML)技術を用いて、フリーテキスト記述を国際疾患分類(ICD)にマッピングすることで、精神医学的診断分析の自動化を提案する。
論文 参考訳(メタデータ) (2026-05-20T13:26:05Z) - ADMEDTAGGER: an annotation framework for distillation of expert knowledge for the Polish medical language [0.0]
この作業は、ADMEDVOICEと呼ばれるより大きなプロジェクトの一部です。
5つの臨床カテゴリを表す医療用テキストの広範なコーパスを収集した。
我々はこのコーパスに注釈をつけるために多言語Llama3.1モデルを使用した。
論文 参考訳(メタデータ) (2025-12-27T10:00:52Z) - CardioEmbed: Domain-Specialized Text Embeddings for Clinical Cardiology [0.0]
本研究は,7つの総合心臓学教科書のキュレートコーパスを用いたコントラスト学習を用いて,Qwen3-Embedding-8Bに基づくドメイン特化埋め込みモデルであるCardioEmbedを訓練した。
このモデルでは、InfoNCE損失とバッチ内の負の値を使い、心特異的なセマンティック検索タスクにおいて99.60%の精度を達成している。
論文 参考訳(メタデータ) (2025-11-14T03:38:48Z) - Multilingual Clinical NER for Diseases and Medications Recognition in Cardiology Texts using BERT Embeddings [1.84859707212729]
本研究は、英語、スペイン語、イタリア語で書かれた臨床症例報告から、疾患や薬剤の言及を抽出するための単言語モデルと多言語BERTモデルの有効性について検討する。
SDRは77.88%,SMRは92.09%,EMRは91.74%,IMRは88.9%であった。
論文 参考訳(メタデータ) (2025-10-20T11:26:22Z) - Heartcare Suite: Multi-dimensional Understanding of ECG with Raw Multi-lead Signal Modeling [50.58126509704037]
医療スイート(Heartcare Suite)は、微細心電図(ECG)の理解のためのフレームワークである。
Heartcare-220Kは高品質で構造化され、包括的なマルチモーダルECGデータセットである。
Heartcare-Benchは、ECGシナリオにおける医療マルチモーダル大言語モデル(Med-MLLM)の最適化を導くためのベンチマークである。
論文 参考訳(メタデータ) (2025-06-06T07:56:41Z) - Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of
Code-Mixed Clinical Texts [56.72488923420374]
事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。
脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
論文 参考訳(メタデータ) (2022-04-10T21:46:52Z) - CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
中国初のバイオメディカル言語理解評価ベンチマークを提示する。
名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。
本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
論文 参考訳(メタデータ) (2021-06-15T12:25:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。