論文の概要: ADMEDTAGGER: an annotation framework for distillation of expert knowledge for the Polish medical language

• arxiv url: http://arxiv.org/abs/2601.09722v1
• Date: Sat, 27 Dec 2025 10:00:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-25 16:54:51.70282
• Title: ADMEDTAGGER: an annotation framework for distillation of expert knowledge for the Polish medical language
• Title（参考訳）: ADMEDTAGGER : ポーランド語専門知識の蒸留のためのアノテーションフレームワーク
• Authors: Franciszek Górski, Andrzej Czyżewski,
• Abstract要約: この作業は、ADMEDVOICEと呼ばれるより大きなプロジェクトの一部です。 5つの臨床カテゴリを表す医療用テキストの広範なコーパスを収集した。 我々はこのコーパスに注釈をつけるために多言語Llama3.1モデルを使用した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In this work, we present an annotation framework that demonstrates how a multilingual LLM pretrained on a large corpus can be used as a teacher model to distill the expert knowledge needed for tagging medical texts in Polish. This work is part of a larger project called ADMEDVOICE, within which we collected an extensive corpus of medical texts representing five clinical categories - Radiology, Oncology, Cardiology, Hypertension, and Pathology. Using this data, we had to develop a multi-class classifier, but the fundamental problem turned out to be the lack of resources for annotating an adequate number of texts. Therefore, in our solution, we used the multilingual Llama3.1 model to annotate an extensive corpus of medical texts in Polish. Using our limited annotation resources, we verified only a portion of these labels, creating a test set from them. The data annotated in this way were then used for training and validation of 3 different types of classifiers based on the BERT architecture - the distilled DistilBERT model, BioBERT fine-tuned on medical data, and HerBERT fine-tuned on the Polish language corpus. Among the models we trained, the DistilBERT model achieved the best results, reaching an F1 score > 0.80 for each clinical category and an F1 score > 0.93 for 3 of them. In this way, we obtained a series of highly effective classifiers that represent an alternative to large language models, due to their nearly 500 times smaller size, 300 times lower GPU VRAM consumption, and several hundred times faster inference.
• Abstract（参考訳）: 本研究では,ポーランド語で医療用テキストのタグ付けに必要な知識を抽出するために,大規模コーパスに事前学習した多言語LLMを教師モデルとして利用する方法を示すアノテーションフレームワークを提案する。 この研究は、ADMEDVOICEと呼ばれるより大きなプロジェクトの一部であり、放射線学、オンコロジー、心臓学、高血圧、病理学の5つの臨床カテゴリを表す医学テキストの広範なコーパスを収集しました。 このデータを用いてマルチクラス分類器を開発する必要がありましたが、基本的な問題は十分な数のテキストを注釈付けするためのリソースが不足していることがわかりました。 そこで本研究では,多言語Llama3.1モデルを用いて,ポーランド語における医療用テキストの広範なコーパスを注釈化した。 限られたアノテーションリソースを使用して、これらのラベルの一部だけを検証し、それらからテストセットを作成しました。 この方法で注釈付けされたデータは、BERTアーキテクチャに基づく3種類の分類器のトレーニングと検証に使用された。 トレーニングしたモデルの中では, DistilBERT モデルが最も良い結果となり, 臨床カテゴリー毎に F1 スコア > 0.80 に達し, その内 3 項目で F1 スコア > 0.93 となった。 このようにして、500倍近いサイズ、300倍のGPU VRAM消費、数百倍の高速推論のため、大規模言語モデルの代替となる高効率な分類器が得られた。

関連論文リスト

• mmBERT: A Modern Multilingual Encoder with Annealed Language Learning [57.58071656545661]
  mmBERTは、多言語テキストの3Tトークンで事前訓練されたエンコーダのみの言語モデルである。 データに1700以上の低リソース言語を追加しています。 分類および検索タスクにおける従来のモデルよりも, mmBERTの方が優れていたことを示す。
  論文  参考訳（メタデータ） (2025-09-08T17:08:42Z)
• Evaluation of Language Models in the Medical Context Under Resource-Constrained Settings [10.39989311209284]
  医療分野における言語モデルに関する総合的な調査を行った。 医療用テキスト分類と条件付きテキスト生成のためのサブセットの評価を行った。 その結果、タスク全体での顕著なパフォーマンスが明らかとなり、特定のモデルが医療知識を含む可能性について評価された。
  論文  参考訳（メタデータ） (2024-06-24T12:52:02Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages [70.25418443146435]
  半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。 我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。 わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
  論文  参考訳（メタデータ） (2023-07-16T00:45:42Z)
• Advancing Italian Biomedical Information Extraction with Transformers-based Models: Methodological Insights and Multicenter Practical Application [0.27027468002793437]
  インフォメーション抽出は、自動化されたテキストマイニングパイプラインを使用することで、臨床実践者が限界を克服するのに役立つ。 我々は、最初のイタリアの神経心理学的名前付きエンティティ認識データセットであるPsyNITを作成し、それをトランスフォーマーベースのモデルの開発に利用した。 i)一貫性のあるアノテーションプロセスの重要な役割と(ii)古典的なメソッドと“低リソース”なアプローチを組み合わせた微調整戦略です。
  論文  参考訳（メタデータ） (2023-06-08T16:15:46Z)
• Development and validation of a natural language processing algorithm to pseudonymize documents in the context of a clinical data warehouse [53.797797404164946]
  この研究は、この領域でツールやリソースを共有する際に直面する困難を浮き彫りにしている。 臨床文献のコーパスを12種類に分類した。 私たちは、ディープラーニングモデルと手動ルールの結果をマージして、ハイブリッドシステムを構築します。
  論文  参考訳（メタデータ） (2023-03-23T17:17:46Z)
• Do We Still Need Clinical Language Models? [15.023633270864675]
  比較的小さな専門的な臨床モデルでは、コンテキスト内学習のアプローチが大幅に優れていることを示す。 physioNet Credentialed Health Dataライセンスとデータ使用契約の下で使用されるコードとモデルをリリースします。
  論文  参考訳（メタデータ） (2023-02-16T05:08:34Z)
• Learning structures of the French clinical language:development and validation of word embedding models using 21 million clinical reports from electronic health records [2.5709272341038027]
  事前訓練された言語モデルを用いた伝達学習に基づく手法は、ほとんどのNLPアプリケーションで最先端の結果を得た。 本研究の目的は,下流医療NLP課題に対する言語モデルの適用が臨床報告に及ぼす影響を評価することである。
  論文  参考訳（メタデータ） (2022-07-26T14:46:34Z)
• Pre-training Data Quality and Quantity for a Low-Resource Language: New Corpus and BERT Models for Maltese [4.4681678689625715]
  低リソース言語に対するモノリンガルデータによる事前学習の効果を分析する。 新たに作成したマルタ語コーパスを提示し、事前学習データサイズとドメインが下流のパフォーマンスに与える影響を判定する。 スクラッチからトレーニングされた単言語BERTモデル(BERTu)と、さらに事前訓練された多言語BERT(mBERTu)の2つのモデルを比較する。
  論文  参考訳（メタデータ） (2022-05-21T06:44:59Z)
• Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of Code-Mixed Clinical Texts [56.72488923420374]
  事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。 脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
  論文  参考訳（メタデータ） (2022-04-10T21:46:52Z)
• Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks [62.9447303059342]
  医療コミュニティにおけるこの問題の重要性を示す。 本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。 約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
  論文  参考訳（メタデータ） (2020-07-15T09:22:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。