論文の概要: HC-LLM: Historical-Constrained Large Language Models for Radiology Report Generation
- arxiv url: http://arxiv.org/abs/2412.11070v1
- Date: Sun, 15 Dec 2024 06:04:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:57:33.424536
- Title: HC-LLM: Historical-Constrained Large Language Models for Radiology Report Generation
- Title(参考訳): HC-LLM:ラジオロジーレポート生成のための歴史的制約付き大規模言語モデル
- Authors: Tengfei Liu, Jiapu Wang, Yongli Hu, Mingjie Li, Junfei Yi, Xiaojun Chang, Junbin Gao, Baocai Yin,
- Abstract要約: 本稿では,放射線学レポート生成のための歴史制約付き大規模言語モデル (HC-LLM) フレームワークを提案する。
胸部X線写真から経時的特徴と経時的特徴を抽出し,疾患の進行を捉える診断報告を行った。
特に,本手法は,テスト中の履歴データなしでも良好に動作し,他のマルチモーダル大規模モデルにも容易に適用可能である。
- 参考スコア(独自算出の注目度): 89.3260120072177
- License:
- Abstract: Radiology report generation (RRG) models typically focus on individual exams, often overlooking the integration of historical visual or textual data, which is crucial for patient follow-ups. Traditional methods usually struggle with long sequence dependencies when incorporating historical information, but large language models (LLMs) excel at in-context learning, making them well-suited for analyzing longitudinal medical data. In light of this, we propose a novel Historical-Constrained Large Language Models (HC-LLM) framework for RRG, empowering LLMs with longitudinal report generation capabilities by constraining the consistency and differences between longitudinal images and their corresponding reports. Specifically, our approach extracts both time-shared and time-specific features from longitudinal chest X-rays and diagnostic reports to capture disease progression. Then, we ensure consistent representation by applying intra-modality similarity constraints and aligning various features across modalities with multimodal contrastive and structural constraints. These combined constraints effectively guide the LLMs in generating diagnostic reports that accurately reflect the progression of the disease, achieving state-of-the-art results on the Longitudinal-MIMIC dataset. Notably, our approach performs well even without historical data during testing and can be easily adapted to other multimodal large models, enhancing its versatility.
- Abstract(参考訳): 放射線診断レポート生成(RRG)モデルは通常、個々の検査に焦点を当てており、多くの場合、患者の追跡に不可欠である歴史的視覚データやテキストデータの統合を見落としている。
従来の手法は、歴史的情報を組み込んだ場合、長いシーケンス依存に苦しむが、大規模言語モデル(LLM)は、文脈内学習において優れているため、縦断的な医療データを解析するのに適している。
そこで本稿では,RRG のための新しい歴史制約付き大規模言語モデル (HC-LLM) フレームワークを提案する。
具体的には, 経時的胸部X線像と診断報告から時間的特徴と時間的特徴を抽出し, 疾患の進行を捉える。
そこで,モダリティ内類似性制約を適用し,マルチモーダル・コントラストおよび構造的制約でモダリティ間の様々な特徴を整合させることにより,一貫した表現を確保する。
これらの制約が組み合わされたことで、LLMは病気の進行を正確に反映した診断レポートを生成することができ、縦-MIMICデータセットの最先端の結果が得られます。
特に,本手法は,テスト中に履歴データなしでも良好に動作し,他のマルチモーダルな大規模モデルにも容易に適用でき,その汎用性を高めることができる。
関連論文リスト
- Longitudinal Ensemble Integration for sequential classification with multimodal data [2.4554016712597138]
逐次分類のためのLongitudinal Ensemble Integration(LEI)を開発した。
認知症早期発見のために, LEIの性能を評価し, 既存のアプローチと比較した。
LEIの設計により、認知症関連診断の効果的な予測のために、時間を通して一貫して重要な特徴を識別できるようになった。
論文 参考訳(メタデータ) (2024-11-08T21:31:48Z) - GATEAU: Selecting Influential Sample for Long Context Alignment [62.87020831987625]
GATEAUは、長距離依存関係に富む影響力のあるサンプルを同定する。
実験結果から, GATEAUは有効に有効なサンプルを同定し, これらのサンプルに基づいてトレーニングしたモデルにより, より優れた指示追従能力と長文理解能力を示すことが示された。
論文 参考訳(メタデータ) (2024-10-21T04:30:53Z) - HERGen: Elevating Radiology Report Generation with Longitudinal Data [18.370515015160912]
本研究では,患者訪問における経時的データを効率的に統合するHERGen(History Enhanced Radiology Report Generation)フレームワークを提案する。
本手法は, 各種歴史データの包括的解析を可能にするだけでなく, 補助的コントラスト的目的により, 生成した報告の質を向上させる。
3つのデータセットにまたがる広範囲な評価結果から,我々のフレームワークは,正確な放射線診断レポートを作成し,医用画像から疾患の進行を効果的に予測する上で,既存の手法を超越していることが明らかとなった。
論文 参考訳(メタデータ) (2024-07-21T13:29:16Z) - EMERGE: Integrating RAG for Improved Multimodal EHR Predictive Modeling [22.94521527609479]
EMERGEは、マルチモーダルEHR予測モデリングの強化を目的とした、検索拡張生成駆動フレームワークである。
提案手法は,大規模言語モデルにより時系列データと臨床メモの両方からエンティティを抽出する。
抽出した知識は、患者の健康状態のタスク関連サマリーを生成するために使用される。
論文 参考訳(メタデータ) (2024-05-27T10:53:15Z) - Prompting Large Language Models for Zero-Shot Clinical Prediction with
Structured Longitudinal Electronic Health Record Data [7.815738943706123]
大規模言語モデル(LLM)は、伝統的に自然言語処理に向いている。
本研究では, GPT-4 などの LLM の EHR データへの適応性について検討する。
EHRデータの長手性、スパース性、知識を注入した性質に対応するため、本研究は特定の特徴を考慮に入れている。
論文 参考訳(メタデータ) (2024-01-25T20:14:50Z) - C^2M-DoT: Cross-modal consistent multi-view medical report generation
with domain transfer network [67.97926983664676]
ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。
C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
論文 参考訳(メタデータ) (2023-10-09T02:31:36Z) - Interpretable Medical Diagnostics with Structured Data Extraction by
Large Language Models [59.89454513692417]
タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。
本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。
本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-08T09:12:28Z) - An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。
近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。
これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
論文 参考訳(メタデータ) (2023-04-17T17:13:42Z) - Cross-Modal Causal Intervention for Medical Report Generation [109.83549148448469]
医療報告生成(MRG)は、コンピュータ支援診断と治療指導に不可欠である。
視覚的および言語的バイアスによって引き起こされる画像テキストデータ内の素早い相関のため、病変領域を確実に記述した正確なレポートを生成することは困難である。
本稿では,視覚分解モジュール (VDM) と言語分解モジュール (LDM) からなるMRGのための新しい視覚言語因果干渉 (VLCI) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-16T07:23:55Z) - MMLN: Leveraging Domain Knowledge for Multimodal Diagnosis [10.133715767542386]
肺疾患診断のための知識駆動型およびデータ駆動型フレームワークを提案する。
本研究は, 臨床医学ガイドラインに従って診断規則を定式化し, テキストデータから規則の重みを学習する。
テキストと画像データからなるマルチモーダル融合は、肺疾患の限界確率を推定するために設計されている。
論文 参考訳(メタデータ) (2022-02-09T04:12:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。