論文の概要: KARGEN: Knowledge-enhanced Automated Radiology Report Generation Using Large Language Models
- arxiv url: http://arxiv.org/abs/2409.05370v1
- Date: Mon, 9 Sep 2024 06:57:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-10 15:40:55.210021
- Title: KARGEN: Knowledge-enhanced Automated Radiology Report Generation Using Large Language Models
- Title(参考訳): KARGEN:大規模言語モデルを用いた知識向上型自動放射線学レポート作成
- Authors: Yingshu Li, Zhanyu Wang, Yunyi Liu, Lei Wang, Lingqiao Liu, Luping Zhou,
- Abstract要約: 本稿では,大規模言語モデルに基づく知識向上型自動放射線学レポートジェネレーションフレームワークであるKARGENについて述べる。
このフレームワークは、LLM内の胸部疾患関連知識を解き放つための知識グラフを統合し、生成された報告の臨床的有用性を高める。
提案手法はMIMIC-CXRとIU-Xrayのデータセットに対して有望な結果を示す。
- 参考スコア(独自算出の注目度): 39.831976458410864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Harnessing the robust capabilities of Large Language Models (LLMs) for narrative generation, logical reasoning, and common-sense knowledge integration, this study delves into utilizing LLMs to enhance automated radiology report generation (R2Gen). Despite the wealth of knowledge within LLMs, efficiently triggering relevant knowledge within these large models for specific tasks like R2Gen poses a critical research challenge. This paper presents KARGEN, a Knowledge-enhanced Automated radiology Report GENeration framework based on LLMs. Utilizing a frozen LLM to generate reports, the framework integrates a knowledge graph to unlock chest disease-related knowledge within the LLM to enhance the clinical utility of generated reports. This is achieved by leveraging the knowledge graph to distill disease-related features in a designed way. Since a radiology report encompasses both normal and disease-related findings, the extracted graph-enhanced disease-related features are integrated with regional image features, attending to both aspects. We explore two fusion methods to automatically prioritize and select the most relevant features. The fused features are employed by LLM to generate reports that are more sensitive to diseases and of improved quality. Our approach demonstrates promising results on the MIMIC-CXR and IU-Xray datasets.
- Abstract(参考訳): 物語生成,論理的推論,常識的知識統合のための大規模言語モデル(LLM)の頑健な能力に配慮し,LLMを活用して自動放射線学レポート生成(R2Gen)を強化する。
LLM内の豊富な知識にもかかわらず、R2Genのような特定のタスクに対するこれらの大きなモデル内の関連知識を効率的に引き起こすことは、重要な研究課題である。
本稿では,LLMに基づく知識向上型自動放射線学レポートジェネレーションフレームワークであるKARGENについて述べる。
凍結したLDMを使用してレポートを生成するこのフレームワークは、知識グラフを統合して、LCM内の胸部疾患関連知識を解放し、生成されたレポートの臨床的有用性を向上する。
これは、知識グラフを利用して、設計された方法で疾患に関連する特徴を蒸留することで達成される。
放射線学報告は, 正常および疾患関連所見の両方を包含しているため, 抽出したグラフ関連疾患の特徴は, 局所像の特徴と統合され, いずれの側面も関与する。
我々は,最も関連性の高い特徴を自動的に優先順位付けし,選択するための2つの融合法について検討する。
融合した特徴は、LSMによって病気に敏感で、品質が向上した報告を生成するために使用される。
提案手法はMIMIC-CXRとIU-Xrayのデータセットに対して有望な結果を示す。
関連論文リスト
- Activating Associative Disease-Aware Vision Token Memory for LLM-Based X-ray Report Generation [54.631356899598956]
本稿では,専門医が医療報告を書く過程を効果的に模倣する,新しい連想型記憶強調X線レポート生成モデルを提案する。
我々は,病気関連トークンのメモリアソシエーションを確立するために,ビジュアルホップフィールドネットワークを使用し,レポートホップフィールドネットワークを用いてレポートメモリ情報を検索する。
論文 参考訳(メタデータ) (2025-01-07T01:19:48Z) - LLM-RG4: Flexible and Factual Radiology Report Generation across Diverse Input Contexts [14.72366043711941]
現在の放射線学レポート生成モデルは、固定的なタスクパラダイムに制約されている。
本稿ではLLM-RG4という新しい大規模言語モデル(LLM)に基づくRRGフレームワークを提案する。
我々のモデルは入力非依存の幻覚を最小限に抑えているのに対し、現在のオープンソースモデルは一般的にこの問題に悩まされている。
論文 参考訳(メタデータ) (2024-12-16T17:29:51Z) - HC-LLM: Historical-Constrained Large Language Models for Radiology Report Generation [89.3260120072177]
本稿では,放射線学レポート生成のための歴史制約付き大規模言語モデル (HC-LLM) フレームワークを提案する。
胸部X線写真から経時的特徴と経時的特徴を抽出し,疾患の進行を捉える診断報告を行った。
特に,本手法は,テスト中の履歴データなしでも良好に動作し,他のマルチモーダル大規模モデルにも容易に適用可能である。
論文 参考訳(メタデータ) (2024-12-15T06:04:16Z) - Multimodal Clinical Reasoning through Knowledge-augmented Rationale Generation [12.242305026271675]
疾患診断におけるマルチモーダルな合理性生成に最適化されたSLMであるClinRaGenを紹介する。
ClinRaGenは、ドメイン知識と時系列EHRデータを統合するために、ユニークな知識強化された注意メカニズムを組み込んでいる。
以上の結果から,ClinRaGenはマルチモーダルEHRデータを解釈し,正確な臨床的根拠を生成するSLMの能力を著しく向上することが示された。
論文 参考訳(メタデータ) (2024-11-12T07:34:56Z) - Resource-Efficient Medical Report Generation using Large Language Models [3.2627279988912194]
医療報告生成は胸部X線画像の放射線診断レポートを自動作成する作業である。
本稿では,医療報告生成のタスクに視覚対応大規模言語モデル(LLM)を活用する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-10-21T05:08:18Z) - Assessing and Enhancing Large Language Models in Rare Disease Question-answering [64.32570472692187]
本稿では,レアな疾患の診断におけるLarge Language Models (LLMs) の性能を評価するために,レアな疾患問合せデータセット(ReDis-QA)を導入する。
ReDis-QAデータセットでは1360の高品質な質問応答ペアを収集し,205の稀な疾患をカバーした。
その後、いくつかのオープンソースのLCMをベンチマークし、希少疾患の診断がこれらのモデルにとって重要な課題であることを示した。
実験の結果,ReCOPは,ReDis-QAデータセット上でのLCMの精度を平均8%向上できることがわかった。
論文 参考訳(メタデータ) (2024-08-15T21:09:09Z) - AutoRG-Brain: Grounded Report Generation for Brain MRI [57.22149878985624]
放射線学者は、大量の画像を日々のベースで解釈し、対応するレポートを生成する責任を負う。
この要求される作業負荷は、人間のエラーのリスクを高め、治療の遅れ、医療費の増加、収益損失、運用上の不効率につながる可能性がある。
地盤自動報告生成(AutoRG)に関する一連の研究を開始した。
このシステムは、脳の構造の明細化、異常の局所化、そしてよく組織化された発見の生成をサポートする。
論文 参考訳(メタデータ) (2024-07-23T17:50:00Z) - HistGen: Histopathology Report Generation via Local-Global Feature Encoding and Cross-modal Context Interaction [16.060286162384536]
HistGenは、病理組織学レポート生成のための学習可能なフレームワークである。
スライド画像全体(WSI)と局所的およびグローバルな粒度からの診断レポートを整列させることで、レポート生成を促進することを目的としている。
WSIレポート生成実験の結果,提案手法は最先端モデル(SOTA)よりも大きなマージンで優れていた。
論文 参考訳(メタデータ) (2024-03-08T15:51:43Z) - Cross-Modal Causal Intervention for Medical Report Generation [109.83549148448469]
医療報告生成(MRG)は、コンピュータ支援診断と治療指導に不可欠である。
視覚的および言語的バイアスによって引き起こされる画像テキストデータ内の素早い相関のため、病変領域を確実に記述した正確なレポートを生成することは困難である。
本稿では,視覚分解モジュール (VDM) と言語分解モジュール (LDM) からなるMRGのための新しい視覚言語因果干渉 (VLCI) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-16T07:23:55Z) - Radiology Report Generation with a Learned Knowledge Base and
Multi-modal Alignment [27.111857943935725]
胸部X線からのレポート生成のための自動マルチモーダルアプローチを提案する。
本手法は,学習知識ベースとマルチモーダルアライメントの2つの異なるモジュールを特徴とする。
両モジュールの助けを借りて、我々のアプローチは明らかに最先端の手法よりも優れている。
論文 参考訳(メタデータ) (2021-12-30T10:43:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。