論文の概要: Structuring Radiology Reports: Challenging LLMs with Lightweight Models

• arxiv url: http://arxiv.org/abs/2506.00200v1
• Date: Fri, 30 May 2025 20:12:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:32.498661
• Title: Structuring Radiology Reports: Challenging LLMs with Lightweight Models
• Title（参考訳）: 放射線学レポートの構造化:軽量モデルによるLCMの対応
• Authors: Johannes Moll, Louisa Fay, Asfandyar Azhar, Sophie Ostmeier, Tim Lueth, Sergios Gatidis, Curtis Langlotz, Jean-Benoit Delbrouck,
• Abstract要約: 大規模言語モデル(LLM)は、臨床テキストの再構築、高い計算要求、透明性の欠如、データプライバシに関する懸念が現実的な展開を妨げていることを示す。 我々は,MIMIC-CXRおよびCheXpert Plusデータセットからの放射線学レポートを構造化するために,軽量エンコーダデコーダモデル(300Mパラメータ)を特にT5およびBERT2BERTで検討する。 我々の最良性能軽量モデルは、人間による注釈付きテストセット上で、プロンプトベースの手法で適応された全てのLCMより優れています。
• 参考スコア（独自算出の注目度）: 5.01440254761063
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Radiology reports are critical for clinical decision-making but often lack a standardized format, limiting both human interpretability and machine learning (ML) applications. While large language models (LLMs) have shown strong capabilities in reformatting clinical text, their high computational requirements, lack of transparency, and data privacy concerns hinder practical deployment. To address these challenges, we explore lightweight encoder-decoder models (<300M parameters)-specifically T5 and BERT2BERT-for structuring radiology reports from the MIMIC-CXR and CheXpert Plus datasets. We benchmark these models against eight open-source LLMs (1B-70B), adapted using prefix prompting, in-context learning (ICL), and low-rank adaptation (LoRA) finetuning. Our best-performing lightweight model outperforms all LLMs adapted using prompt-based techniques on a human-annotated test set. While some LoRA-finetuned LLMs achieve modest gains over the lightweight model on the Findings section (BLEU 6.4%, ROUGE-L 4.8%, BERTScore 3.6%, F1-RadGraph 1.1%, GREEN 3.6%, and F1-SRR-BERT 4.3%), these improvements come at the cost of substantially greater computational resources. For example, LLaMA-3-70B incurred more than 400 times the inference time, cost, and carbon emissions compared to the lightweight model. These results underscore the potential of lightweight, task-specific models as sustainable and privacy-preserving solutions for structuring clinical text in resource-constrained healthcare settings.
• Abstract（参考訳）: 放射線医学の報告は臨床的な意思決定には重要であるが、標準的なフォーマットを欠くことが多く、人間の解釈可能性と機械学習(ML)の応用を制限している。 大規模言語モデル(LLM)は、臨床テキストの再構築、高い計算要求、透明性の欠如、データプライバシに関する懸念が現実的な展開を妨げていることを示す。 これらの課題に対処するために、MIMIC-CXRおよびCheXpert Plusデータセットからの放射線学レポートを構築するために、軽量エンコーダデコーダモデル(300Mパラメータ)を特にT5およびBERT2BERTで検討する。 我々は,これらのモデルを,プレフィックスプロンプト,インコンテキストラーニング(ICL),ローランク適応(LoRA)ファインタニングを用いて,8つのオープンソースLCM (1B-70B) に対してベンチマークする。 我々の最良性能軽量モデルは、人間による注釈付きテストセット上で、プロンプトベースの手法で適応された全てのLCMより優れています。 ローラを微細化したLLMのいくつかは、Finderingsセクションの軽量モデル(BLEU 6.4%、ROUGE-L 4.8%、BERTScore 3.6%、F1-RadGraph 1.1%、GREEN 3.6%、F1-SRR-BERT 4.3%)よりもわずかに向上するが、これらの改善は計算資源を大幅に増やすコストがかかる。 例えば、LLaMA-3-70Bは、軽量モデルに比べて400倍以上の時間、コスト、炭素排出量を発生させた。 これらの結果は、リソース制約された医療環境における臨床テキストを構築するための、持続的でプライバシー保護のソリューションとして、軽量でタスク固有のモデルの可能性を強調している。

関連論文リスト

• EfficientLLM: Efficiency in Large Language Models [64.3537131208038]
  大規模言語モデル(LLM)は大きな進歩を導いてきたが、その増加とコンテキストウィンドウは計算、エネルギー、金銭的コストを禁止している。 本稿では,新しいベンチマークであるEfficientLLMを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T02:27:08Z)
• Phi-4-Mini-Reasoning: Exploring the Limits of Small Reasoning Language Models in Math [135.1260782461186]
  CoT(Chain-of-Thought)は大規模言語モデル(LLM)の形式推論能力を著しく向上させる しかし、Small Language Models (SLM) における推論の改善は、モデル能力が限られているため、依然として困難である。 本研究では,(1)多種多様な蒸留長CoTデータによる大規模中等教育,(2)高品質長CoTデータによる微調整,(3)厳格な選好データセットを活用したロールアウトDPO,(4)検証リワードを用いた強化学習(RL)の4段階からなるSLMの体系的トレーニングレシピを提案する。
  論文  参考訳（メタデータ） (2025-04-30T00:04:35Z)
• Reinforcement Learning for Reasoning in Small LLMs: What Works and What Doesn't [0.0]
  小型言語モデル(LLM)における強化学習による推論改善の可能性について検討した。 24時間以内に4つのNVIDIA A40 GPU(それぞれ48GB VRAM)をトレーニングした結果、素早い推論が向上した。 これらの結果から, 小型LLMに対するRLを用いた微調整の有効性が明らかとなり, 大規模アプローチに対する費用対効果が示唆された。
  論文  参考訳（メタデータ） (2025-03-20T15:13:23Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• EACO: Enhancing Alignment in Multimodal LLMs via Critical Observation [58.546205554954454]
  臨界観測(EACO)によるMLLMのアライメント向上を提案する。 EACOは、経済的に5k画像のみを使用して、MLLMを自己生成の選好データで整列する。 EACOは幻覚全体の65.6%をHalusionBenchで減らし、MME-Cognitionで21.8%改善する。
  論文  参考訳（メタデータ） (2024-12-06T09:59:47Z)
• Information Extraction from Clinical Notes: Are We Ready to Switch to Large Language Models? [16.312594953592665]
  大規模言語モデル(LLM)は生成タスクに優れるが、抽出タスクのパフォーマンスについては議論が続いている。 本研究は,オープンソースLLMを用いた包括的臨床用IEシステムの開発と評価を行った最初の試みである。
  論文  参考訳（メタデータ） (2024-11-15T07:54:19Z)
• The Impact of LoRA Adapters for LLMs on Clinical NLP Classification Under Data Limitations [32.23468444597675]
  臨床自然言語処理(NLP)のための微調整大型言語モデル(LLM)は、ドメインギャップと限られたデータ可用性のために大きな課題を提起する。 本研究では,ローランド適応(LoRA)に準ずる各種アダプタ技術の有効性について検討する。 我々は2つのTransformerベースのモデルとともに、CamemBERT-bio、AliBERT、DrBERTなどのバイオメディカル事前訓練モデルを微調整した。
  論文  参考訳（メタデータ） (2024-07-27T16:48:03Z)
• TriSum: Learning Summarization Ability from Large Language Models with Structured Rationale [66.01943465390548]
  本稿では,大規模言語モデルのテキスト要約能力を,コンパクトで局所的なモデルに抽出するフレームワークであるTriSumを紹介する。 本手法は,様々なベンチマーク上での局所モデル性能を向上させる。 また、要約の合理性に関する洞察を提供することで、解釈可能性も向上する。
  論文  参考訳（メタデータ） (2024-03-15T14:36:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。