論文の概要: Dia-LLaMA: Towards Large Language Model-driven CT Report Generation
- arxiv url: http://arxiv.org/abs/2403.16386v1
- Date: Mon, 25 Mar 2024 03:02:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-26 16:17:05.291419
- Title: Dia-LLaMA: Towards Large Language Model-driven CT Report Generation
- Title(参考訳): Dia-LLaMA:大規模言語モデル駆動型CTレポート生成に向けて
- Authors: Zhixuan Chen, Luyang Luo, Yequan Bie, Hao Chen,
- Abstract要約: 診断情報をガイダンスとして組み込むことで,CTレポート生成にLLaMA2-7Bを適用するためのフレームワークであるDia-LLaMAを提案する。
我々は,CTの高次元を考慮し,事前学習したVT3Dと知覚器を併用して視覚情報を抽出する。
報告生成のためのLCMを調整し,異常を強調するため,病原体記憶バンクを参照して,追加の診断情報を抽出する。
- 参考スコア(独自算出の注目度): 4.634780391920529
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Medical report generation has achieved remarkable advancements yet has still been faced with several challenges. First, the inherent imbalance in the distribution of normal and abnormal cases may lead models to exhibit a biased focus on normal samples, resulting in unreliable diagnoses. Second, the frequent occurrence of common template sentences in the reports may overwhelm the critical abnormal information. Moreover, existing works focus on 2D chest X-rays, leaving CT report generation underexplored due to the high-dimensional nature of CT images and the limited availability of CT-report pairs. Recently, LLM has shown a great ability to generate reliable answers with appropriate prompts, which shed light on addressing the aforementioned challenges. In this paper, we propose Dia-LLaMA, a framework to adapt the LLaMA2-7B for CT report generation by incorporating diagnostic information as guidance prompts. Considering the high dimension of CT, we leverage a pre-trained ViT3D with perceiver to extract the visual information. To tailor the LLM for report generation and emphasize abnormality, we extract additional diagnostic information by referring to a disease prototype memory bank, which is updated during training to capture common disease representations. Furthermore, we introduce disease-aware attention to enable the model to adjust attention for different diseases. Experiments on the chest CT dataset demonstrated that our proposed method outperformed previous methods and achieved state-of-the-art on both clinical efficacy performance and natural language generation metrics. The code will be made publically available.
- Abstract(参考訳): 医療報告の生成は目覚ましい進歩を遂げているが、いくつかの課題に直面している。
第一に、正常なケースと異常なケースの分布における固有の不均衡は、モデルが正常なサンプルに偏りを示し、信頼性の低い診断をもたらす可能性がある。
第二に、報告に共通するテンプレート文が頻繁に発生することは、重大な異常情報を圧倒する可能性がある。
既存の研究は2次元胸部X線に焦点をあてており、CT画像の高次元的性質とCT-Reportペアの限定的利用により、CTレポートの生成が過小評価されている。
近年、LCMは、上記の課題に対処する上で、適切なプロンプトで信頼性の高い回答を生成できる優れた能力を示している。
本稿では,診断情報をガイダンスとして組み込んだLLaMA2-7BをCTレポート生成に適用するためのフレームワークであるDia-LLaMAを提案する。
我々は,CTの高次元を考慮し,事前学習したVT3Dと知覚器を併用して視覚情報を抽出する。
報告生成のためのLCMを調整し,異常を強調するために,トレーニング中に更新した病原体メモリバンクを参照して,追加の診断情報を抽出し,一般的な疾患の表現を捉える。
さらに,異なる疾患に対する注意度をモデルが調整できるようにするために,疾患認識型注意度を導入する。
胸部CTデータセットを用いた実験により,提案手法は従来の方法よりも優れており,臨床効果と自然言語生成の指標の両面で最先端の手法が得られた。
コードは一般公開される予定だ。
関連論文リスト
- RadGenome-Chest CT: A Grounded Vision-Language Dataset for Chest CT Analysis [56.57177181778517]
RadGenome-Chest CTはCT-RATEに基づく大規模3次元胸部CT解釈データセットである。
私たちは、最新の強力なユニバーサルセグメンテーションと大きな言語モデルを活用して、元のデータセットを拡張します。
論文 参考訳(メタデータ) (2024-04-25T17:11:37Z) - Rethinking Medical Report Generation: Disease Revealing Enhancement with
Knowledge Graph [20.48510969557314]
知識グラフ(KG)は、疾患間の関係を明らかにするため、医療報告生成(MRG)において重要な役割を果たす。
本研究は,137種類の疾患と異常を含む胸部X線画像の完全KGを確立した。
この問題を軽減するために,分布の尾端における病型表現を強化する新しい拡張戦略を導入する。
論文 参考訳(メタデータ) (2023-07-24T04:56:23Z) - High-Fidelity Image Synthesis from Pulmonary Nodule Lesion Maps using
Semantic Diffusion Model [10.412300404240751]
肺がんは、長年にわたり、世界中でがん関連の死因の1つとなっている。
ディープラーニング、学習アルゴリズムに基づくコンピュータ支援診断(CAD)モデルは、スクリーニングプロセスを加速することができる。
しかし、堅牢で正確なモデルを開発するには、しばしば高品質なアノテーションを備えた大規模で多様な医療データセットが必要である。
論文 参考訳(メタデータ) (2023-05-02T01:04:22Z) - Cross-Modal Causal Intervention for Medical Report Generation [109.83549148448469]
医療報告生成(MRG)は、コンピュータ支援診断と治療指導に不可欠である。
視覚的および言語的バイアスによって引き起こされる画像テキストデータ内の素早い相関のため、病変領域を確実に記述した正確なレポートを生成することは困難である。
本稿では,視覚分解モジュール (VDM) と言語分解モジュール (LDM) からなるMRGのための新しい視覚言語因果干渉 (VLCI) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-16T07:23:55Z) - AlignTransformer: Hierarchical Alignment of Visual Regions and Disease
Tags for Medical Report Generation [50.21065317817769]
本稿では,Align Hierarchical Attention (AHA)とMulti-Grained Transformer (MGT)モジュールを含むAlign Transformerフレームワークを提案する。
パブリックなIU-XrayとMIMIC-CXRデータセットの実験は、AlignTransformerが2つのデータセットの最先端メソッドと競合する結果が得られることを示している。
論文 参考訳(メタデータ) (2022-03-18T13:43:53Z) - Explainable multiple abnormality classification of chest CT volumes with
AxialNet and HiResCAM [89.2175350956813]
本稿では,容積医用画像における多変量分類の課題について紹介する。
本稿では,複数のインスタンス学習型畳み込みニューラルネットワークであるAxialNetを提案する。
そして、HiResCAMと3D許容領域を利用した新しいマスクロスにより、モデルの学習を改善することを目指す。
論文 参考訳(メタデータ) (2021-11-24T01:14:33Z) - Contrastive Attention for Automatic Chest X-ray Report Generation [124.60087367316531]
ほとんどの場合、正常領域が胸部X線像全体を支配し、これらの正常領域の対応する記述が最終報告を支配している。
本稿では,現在の入力画像と通常の画像を比較してコントラスト情報を抽出するContrastive Attention(CA)モデルを提案する。
2つの公開データセットで最先端の結果を得る。
論文 参考訳(メタデータ) (2021-06-13T11:20:31Z) - Exploring and Distilling Posterior and Prior Knowledge for Radiology
Report Generation [55.00308939833555]
PPKEDには、Posterior Knowledge Explorer (PoKE), Prior Knowledge Explorer (PrKE), Multi-domain Knowledge Distiller (MKD)の3つのモジュールが含まれている。
PoKEは後部知識を探求し、視覚データのバイアスを軽減するために明確な異常な視覚領域を提供する。
PrKEは、以前の医学知識グラフ(医学知識)と以前の放射線学レポート(作業経験)から以前の知識を探り、テキストデータのバイアスを軽減する。
論文 参考訳(メタデータ) (2021-06-13T11:10:02Z) - Learning Visual-Semantic Embeddings for Reporting Abnormal Findings on
Chest X-rays [6.686095511538683]
本研究は放射線画像の異常所見の報告に焦点を当てる。
本稿では, レポートから異常な発見を識別し, 教師なしクラスタリングと最小限のルールで分類する手法を提案する。
本手法は, 異常所見を回収し, 臨床正当性およびテキスト生成量の両方で既存の世代モデルより優れていることを示す。
論文 参考訳(メタデータ) (2020-10-06T04:18:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。