論文の概要: Improving Automatic Summarization of Radiology Reports through Mid-Training of Large Language Models

• arxiv url: http://arxiv.org/abs/2603.19275v1
• Date: Sat, 28 Feb 2026 03:36:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 02:36:12.822789
• Title: Improving Automatic Summarization of Radiology Reports through Mid-Training of Large Language Models
• Title（参考訳）: 大規模言語モデルの中間学習による放射線学レポートの自動要約の改善
• Authors: Mengxian Lyu, Cheng Peng, Ziyi Chen, Mengyuan Zhang, Jieting Li Lu, Yonghui Wu,
• Abstract要約: これまでの研究では、「事前学習、微調整」戦略を、要約に大規模な言語モデルを適用するために広く利用してきた。 本研究では,要約を改善するため,中間学習手法によるサブドメイン適応を提案する。 本研究は, 直接微調整戦略ではなく, 事前訓練, 中間訓練, 微調整」の使用を支援する。
• 参考スコア（独自算出の注目度）: 10.955738714664276
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic summarization of radiology reports is an essential application to reduce the burden on physicians. Previous studies have widely used the "pre-training, fine-tuning" strategy to adapt large language models (LLMs) for summarization. This study proposed a subdomain adaptation through a mid-training method to improve summarization. We explored three adaptation strategies: (1) general-domain pre-training, (2) clinical-domain pre-training, and (3) clinical-domain pre-training followed by subdomain mid-training. We developed models using large-scale clinical text from the University of Florida (UF) Health and conducted mid-training and fine-tuning experiments using widely used benchmark datasets including OpenI and MIMIC-CXR. The experimental results show that the mid-trained model, GatorTronT5-Radio, achieved the best performance, outperforming models without mid-training in both text-based measures (ROUGE-L) and factuality measures (RadGraph-F1). Our mid-training methods also demonstrate better few-shot learning and could alleviate the "cold start" problem reported in previous studies as a learning barrier. Our findings support the use of "pre-training, mid-training, fine-tuning," instead of the widely used direct fine-tuning strategy.
• Abstract（参考訳）: 放射線学報告の自動要約は, 医師の負担軽減に不可欠である。 これまでの研究では、「事前学習、微調整」戦略を用いて、大言語モデル(LLM)を要約に適応させてきた。 本研究では,要約を改善するため,中間学習手法によるサブドメイン適応を提案する。 1)一般ドメイン事前トレーニング,(2)臨床ドメイン事前トレーニング,(3)臨床ドメイン事前トレーニング,およびサブドメイン中期トレーニングの3つの適応戦略を検討した。 フロリダ大学ヘルス校(UF)の大規模臨床テキストを用いたモデルを開発し,OpenIやMIMIC-CXRなど,広く使用されているベンチマークデータセットを用いて中等教育および微調整実験を行った。 実験の結果,中級訓練モデルであるGatorTronT5-Radioは,テキストベース尺度 (ROUGE-L) と実効性尺度 (RadGraph-F1) の両方において,中級訓練のないモデルよりも優れた性能を示した。 我々の中間訓練手法は、より優れた数発の学習を示し、以前の研究で報告された「コールドスタート」問題を学習障壁として緩和することができる。 本研究は, 直接微調整戦略ではなく, 事前訓練, 中間訓練, 微調整」の使用を支援する。

関連論文リスト

• Midtraining Bridges Pretraining and Posttraining Distributions [73.84346031272473]
  ミストレイン(Midtraining)とは、事前トレーニングの終了時に、高い品質の命令形式データを混合するフェーズである。 我々は,スクラッチから事前学習した言語モデルを用いた実験を通じて,中等教育に関する最初の体系的な研究を行う。 教師付き微調整の結果と比較すると,数学やコード領域において中等教育の有効性が最も高いことがわかった。
  論文  参考訳（メタデータ） (2025-10-16T16:39:52Z)
• Random Direct Preference Optimization for Radiography Report Generation [3.5915338392912344]
  医用画像解析において放射線診断報告生成(RRG)が注目されている。 既存の方法はまだ実際の臨床環境での展開に必要な品質を達成できていない。 DPO(Direct Preference Optimization)を用いたRRGの精度向上のためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-19T10:53:45Z)
• Efficient Continual Pre-training by Mitigating the Stability Gap [68.49269649759005]
  本研究では,Large Language Models (LLM) の継続事前学習における挙動について検討する。 固定された計算予算内でのLLM性能を向上させるための3つの効果的な戦略を提案する。 当社の戦略は,OpenLlama-3Bモデルの平均医療タスク性能を36.2%から40.7%に改善し,当初のトレーニング予算の40%に過ぎなかった。
  論文  参考訳（メタデータ） (2024-06-21T02:28:37Z)
• RadAdapt: Radiology Report Summarization via Lightweight Domain Adaptation of Large Language Models [9.756640057195876]
  我々は,Radiology Report summarization (RRS) の課題に対して,大規模言語モデルを適応するための戦略を体系的に検討する。 具体的には、プレトレーニング(自然言語、バイオメディカルテキスト、臨床テキスト)と離散的なプロンプトやパラメータ効率の微調整によるドメイン適応に焦点を当てる。 本研究は,臨床テキストの事前学習とRSサンプルの微調整により,タスクに最大限適応することで,継続的に最高のパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2023-05-02T01:33:02Z)
• An Empirical Study on Distribution Shift Robustness From the Perspective of Pre-Training and Data Augmentation [91.62129090006745]
  本稿では,事前学習とデータ拡張の観点から分布シフト問題を考察する。 我々は,事前学習とデータ拡張に焦点を当てた,最初の総合的な実証的研究を行った。
  論文  参考訳（メタデータ） (2022-05-25T13:04:53Z)
• Neural Semi-supervised Learning for Text Classification Under Large-Scale Pretraining [51.19885385587916]
  我々は、大規模LM事前学習の文脈下で、テキスト分類タスクにおける半教師あり学習の研究を行う。 我々の研究は、大規模事前学習の文脈下でのセミ教師付き学習モデルの振る舞いを理解するための最初のステップである。
  論文  参考訳（メタデータ） (2020-11-17T13:39:05Z)
• An Empirical Investigation Towards Efficient Multi-Domain Language Model Pre-training [15.440627147018711]
  我々は破滅的忘れ(CF)を緩和するための既知の方法に関する実証的研究を行っている。 弾性重み統合は7つの一般的なタスクに対して0.33%の低下しか得られない,最高の総合スコアを提供する。
  論文  参考訳（メタデータ） (2020-10-01T09:20:18Z)
• Don't Stop Pretraining: Adapt Language Models to Domains and Tasks [81.99843216550306]
  バイオメディカルおよびコンピュータサイエンスの出版物、ニュース、レビュー)と8つの分類タスクについて調査する。 ドメイン内の事前トレーニング(ドメイン適応型事前トレーニング)の第2フェーズでは、パフォーマンスが向上する。 タスクの未ラベルデータ(タスク適応事前トレーニング)に適応することで、ドメイン適応事前トレーニング後のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2020-04-23T04:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。