論文の概要: Revisiting LLM Adaptation for 3D CT Report Generation: A Study of Scaling and Diagnostic Priors

• arxiv url: http://arxiv.org/abs/2606.17213v1
• Date: Mon, 15 Jun 2026 18:51:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.108328
• Title: Revisiting LLM Adaptation for 3D CT Report Generation: A Study of Scaling and Diagnostic Priors
• Title（参考訳）: 3次元CTレポート生成のためのLCM適応の再検討:スケーリングと診断の優先事項の検討
• Authors: Vanshali Sharma, Andrea M. Bejar, Halil Ertugrul Aktas, Quoc-Huy Trinh, Debesh Jha, Gorkem Durak, Ulas Bagci,
• Abstract要約: 大規模言語モデル (LLM) と視覚言語モデル (VLM) は、自然画像に強い適応性を示す。 RAD3D-Prefixは、広範なパラメータトレーニングの必要性を最小限に抑えるフレームワークである。 我々の方法は、最小限のトレーニング可能なパラメータを必要とし、小さなドメイン固有のデータセットに過度に適合するリスクを軽減します。
• 参考スコア（独自算出の注目度）: 10.853232316677362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in multimodal learning, including large language models (LLMs) and vision-language models (VLMs), have demonstrated strong adaptability to natural images. However, extending their use to the medical domain, particularly for volumetric (3D) images, is challenging due to high computational complexity, volumetric dependencies and the semantic gap between visual features and clinical terminology. Naively fine-tuning LLMs on limited medical data often leads to overfitting and clinical hallucination, where linguistic fluency is prioritized over clinical factuality. In this study, we investigate parameter-efficient adaptation strategies for volumetric CT report generation and introduce RAD3D-Prefix, a lightweight diagnostic-prior conditioning framework that minimizes the need for extensive parameter training. This module integrates image embeddings with multi-label diagnostic classification logits, preserving critical clinical details while bridging the semantic gap. By keeping the LLM frozen, our method requires minimal trainable parameters and mitigates the risk of overfitting on small, domain-specific datasets. Through a systematic study spanning LLMs from 96.1M to 1.6B parameters, we find that fine-tuning is most beneficial for smaller LLMs, whereas freezing larger (~1B+ LLMs and training only lightweight projection layers provides a superior trade-off between performance, generalization, and computational efficiency. Across multiple automatic metrics and a clinical reader study, RAD3D-Prefix outperforms comparable parameter-efficient baselines and demonstrates strong out-of-domain generalization while using substantially fewer trainable parameters than fully fine-tuned alternatives.
• Abstract（参考訳）: 大規模言語モデル (LLMs) や視覚言語モデル (VLMs) などのマルチモーダル学習の最近の進歩は、自然画像への適応性を強く示している。 しかし、特に3D画像における医療領域への拡張は、高い計算複雑性、ボリューム依存、視覚的特徴と臨床用語のセマンティックギャップにより困難である。 医学的データに限定して微調整されたLSMは、しばしば過剰な適合と臨床幻覚を引き起こし、臨床事実よりも言語流布が優先される。 本研究では,容積CTレポート生成のためのパラメータ効率適応戦略について検討し,広範囲なパラメータトレーニングの必要性を最小限に抑える軽量な診断優先条件付けフレームワークであるRAD3D-Prefixを導入する。 このモジュールは画像埋め込みとマルチラベル診断分類ログを統合し、セマンティックギャップをブリッジしながら重要な臨床情報を保存する。 LLMを凍結し続けることで、最小限のトレーニング可能なパラメータが必要となり、小さなドメイン固有のデータセットに過度に適合するリスクを軽減できる。 96.1M から1.6B のパラメータにまたがる系統的な研究により、微調整はより小さな LLM に最も有益であるのに対し、より大きな (~1B+ LLM を凍結し、軽量プロジェクション層のみを訓練することで、性能、一般化、計算効率のトレードオフが優れていることがわかった。 RAD3D-Prefixは、複数の自動測定値と臨床読影器を用いて、同等のパラメータ効率のベースラインを上回り、ドメイン外での強力な一般化を示しながら、完全に微調整された代替手段よりもかなり少ないトレーニング可能なパラメータを使用する。

関連論文リスト

• Countering Catastrophic Forgetting of Large Language Models for Better Instruction Following via Weight-Space Model Merging [10.955738714664276]
  医療領域では,医療負担軽減のための医療資料として,大規模言語モデルが採用されている。 研究によると、LSMはタスク固有の医療データセットを使用して微調整を行う際に、かなりの量の指示追従能力を「忘れる」ことがしばしばある。 本研究では,汎用LSMを医療領域に効率的に適用するためのモデル統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-02T02:18:49Z)
• A Federated and Parameter-Efficient Framework for Large Language Model Training in Medicine [59.78991974851707]
  大規模言語モデル(LLM)は、質問応答や診断など、医療ベンチマークにおいて強力なパフォーマンスを示している。 ほとんどの医療用LDMは、異種システムの一般化性と安全性の制限に直面している単一の機関のデータに基づいて訓練されている。 本稿では, LLMを医療応用に適用するためのモデルに依存しない, パラメータ効率のよいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T18:48:21Z)
• XAI4LLM. Let Machine Learning Models and LLMs Collaborate for Enhanced In-Context Learning in Healthcare [16.79952669254101]
  本稿では,大規模言語モデルによる構造化された臨床データ処理を実現するための知識誘導型インコンテキスト学習フレームワークを提案する。 このアプローチでは、ドメイン固有の機能グループ化、慎重にバランスのとれた数ショットの例、タスク固有のプロンプト戦略を統合する。
  論文  参考訳（メタデータ） (2024-05-10T06:52:44Z)
• Large Language Model Distilling Medication Recommendation Model [58.94186280631342]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• LLM-driven Multimodal Target Volume Contouring in Radiation Oncology [46.23891509553877]
  大規模言語モデル(LLM)は、テキスト情報と画像の統合を容易にする。 LLM駆動型マルチモーダルAI,すなわちLLMSegを提案する。 提案モデルでは,従来のユニモーダルAIモデルと比較して,性能が著しく向上していることが実証された。
  論文  参考訳（メタデータ） (2023-11-03T13:38:42Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。