論文の概要: Specialised or Generic? Tokenization Choices for Radiology Language Models

• arxiv url: http://arxiv.org/abs/2508.09952v1
• Date: Wed, 13 Aug 2025 17:13:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.969018
• Title: Specialised or Generic? Tokenization Choices for Radiology Language Models
• Title（参考訳）: 専門的・汎用的?放射線学言語モデルのためのトークン化選択
• Authors: Hermione Warr, Wentian Xu, Harry Anthony, Yasin Ibrahim, Daniel McGowan, Konstantinos Kamnitsas,
• Abstract要約: 言語モデル(LM)が使用する語彙は、テキスト生成の品質において重要な役割を果たす。 放射線診断のタスクにおける一般,医療,ドメイン特異的なトークン化剤は,3つの画像モダリティにまたがって要約を報告する。 以上の結果から, 医学的, 専門的な語彙は, モデルがゼロから訓練されたとき, 広く使われている自然言語の代替語よりも優れていた。
• 参考スコア（独自算出の注目度）: 2.081299660192454
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The vocabulary used by language models (LM) - defined by the tokenizer - plays a key role in text generation quality. However, its impact remains under-explored in radiology. In this work, we address this gap by systematically comparing general, medical, and domain-specific tokenizers on the task of radiology report summarisation across three imaging modalities. We also investigate scenarios with and without LM pre-training on PubMed abstracts. Our findings demonstrate that medical and domain-specific vocabularies outperformed widely used natural language alternatives when models are trained from scratch. Pre-training partially mitigates performance differences between tokenizers, whilst the domain-specific tokenizers achieve the most favourable results. Domain-specific tokenizers also reduce memory requirements due to smaller vocabularies and shorter sequences. These results demonstrate that adapting the vocabulary of LMs to the clinical domain provides practical benefits, including improved performance and reduced computational demands, making such models more accessible and effective for both research and real-world healthcare settings.
• Abstract（参考訳）: 言語モデル(LM)が使用する語彙(トークン化子によって定義される)は、テキスト生成の品質において重要な役割を果たす。 しかし、その影響は放射線学では未発見のままである。 本研究では,3つの画像モダリティにまたがる放射線診断レポートの要約作業において,一般,医療,ドメイン固有のトークン化剤を系統的に比較することにより,このギャップに対処する。 また,PubMed の抽象化上で LM の事前学習を行うシナリオについても検討する。 以上の結果から, 医学的, 専門的な語彙は, モデルがゼロから訓練されたとき, 広く使われている自然言語の代替語よりも優れていた。 事前トレーニングは、トークンライザ間のパフォーマンス差を緩和する一方、ドメイン固有のトークンライザは最も好ましい結果を得る。 ドメイン固有のトークン化器は、語彙が小さく、シーケンスが短いため、メモリ要求を減らします。 これらの結果は、LMの語彙を臨床領域に適応させることによって、パフォーマンスの向上や計算要求の低減など、実用的なメリットが得られ、そのようなモデルが研究と現実の医療の両方においてよりアクセスしやすく、効果的であることを示す。

関連論文リスト

• Uncertainty-aware Medical Diagnostic Phrase Identification and Grounding [72.18719355481052]
  MRG(Messical Report Grounding)と呼ばれる新しい課題について紹介する。 MRGは医療報告から診断フレーズとその対応する接地箱を直接エンドツーエンドで識別することを目的としている。 マルチモーダルな大規模言語モデルを用いて診断フレーズを予測する,堅牢で信頼性の高いフレームワークである uMedGround を提案する。
  論文  参考訳（メタデータ） (2024-04-10T07:41:35Z)
• Comprehensive Study on German Language Models for Clinical and Biomedical Text Understanding [16.220303664681172]
  我々は、翻訳された英語の医療データとドイツの臨床データの3Bトークンから2.4Bトークンを抽出し、いくつかのドイツの医療言語モデルを事前訓練した。 得られたモデルは、名前付きエンティティ認識(NER)、多ラベル分類、抽出質問応答など、様々なドイツの下流タスクで評価された。 本研究は, 臨床モデルとスクラッチからトレーニングした成績を一致させたり, 上回ったりする能力が, 連続事前訓練によって実証されていることを結論する。
  論文  参考訳（メタデータ） (2024-04-08T17:24:04Z)
• UMLS-KGI-BERT: Data-Centric Knowledge Integration in Transformers for Biomedical Entity Recognition [3.5555176462255824]
  この研究は、UMLSからテキストシーケンスを抽出することにより、バイオメディカルトランスフォーマーエンコーダLMの言語表現を強化するためのデータ中心パラダイムに寄与する。 予め訓練したLMの拡張およびスクラッチからのトレーニングによる実験の結果から,複数の生物医学的,臨床的な名前付きエンティティ認識(NER)タスクにおける下流性能の向上が示された。
  論文  参考訳（メタデータ） (2023-07-20T18:08:34Z)
• An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
  放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。 近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。 これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
  論文  参考訳（メタデータ） (2023-04-17T17:13:42Z)
• Combining Contrastive Learning and Knowledge Graph Embeddings to develop medical word embeddings for the Italian language [0.0]
  本論文は,イタリアの医療領域の未発見ニッチへの埋め込みを改良する試みである。 主な目的は、医療用語間の意味的類似性の精度を向上させることである。 イタリア語には医学的な文章や制御された語彙が欠けているため、我々は特定の解決法を開発した。
  論文  参考訳（メタデータ） (2022-11-09T17:12:28Z)
• Clinical Named Entity Recognition using Contextualized Token Representations [49.036805795072645]
  本稿では,各単語の意味的意味をより正確に把握するために,文脈型単語埋め込み手法を提案する。 言語モデル(C-ELMo)とC-Flair(C-Flair)の2つの深い文脈型言語モデル(C-ELMo)を事前訓練する。 明示的な実験により、静的単語埋め込みとドメインジェネリック言語モデルの両方と比較して、我々のモデルは劇的に改善されている。
  論文  参考訳（メタデータ） (2021-06-23T18:12:58Z)
• CBLUE: A Chinese Biomedical Language Understanding Evaluation Benchmark [51.38557174322772]
  中国初のバイオメディカル言語理解評価ベンチマークを提示する。 名前付きエンティティ認識、情報抽出、臨床診断正規化、単文/文対分類を含む自然言語理解タスクのコレクションである。 本研究は,現在の11種類の中国モデルによる実験結果について報告し,その実験結果から,現在最先端のニューラルモデルがヒトの天井よりもはるかに悪い性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-06-15T12:25:30Z)
• Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing [73.37262264915739]
  バイオメディシンなどのラベルなしテキストの少ないドメインでは、スクラッチから言語モデルを事前学習することで、かなりの利益が得られることを示す。 実験の結果, ドメイン固有のプレトレーニングは, 幅広い生物医学的NLPタスクの基盤となることが明らかとなった。
  論文  参考訳（メタデータ） (2020-07-31T00:04:15Z)
• A Comparative Study of Lexical Substitution Approaches based on Neural Language Models [117.96628873753123]
  本稿では,一般的なニューラル言語とマスキング言語モデルの大規模比較研究について述べる。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによって達成された既に競合する結果をさらに改善できることを示す。
  論文  参考訳（メタデータ） (2020-05-29T18:43:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。