論文の概要: Activating Associative Disease-Aware Vision Token Memory for LLM-Based X-ray Report Generation

• arxiv url: http://arxiv.org/abs/2501.03458v1
• Date: Tue, 07 Jan 2025 01:19:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:50:11.129537
• Title: Activating Associative Disease-Aware Vision Token Memory for LLM-Based X-ray Report Generation
• Title（参考訳）: LLMを用いたX線レポート生成のための連想疾患対応視覚記憶の活性化
• Authors: Xiao Wang, Fuling Wang, Haowen Wang, Bo Jiang, Chuanfu Li, Yaowei Wang, Yonghong Tian, Jin Tang,
• Abstract要約: 本稿では,専門医が医療報告を書く過程を効果的に模倣する,新しい連想型記憶強調X線レポート生成モデルを提案する。 我々は,病気関連トークンのメモリアソシエーションを確立するために,ビジュアルホップフィールドネットワークを使用し,レポートホップフィールドネットワークを用いてレポートメモリ情報を検索する。
• 参考スコア（独自算出の注目度）: 54.631356899598956
• License:
• Abstract: X-ray image based medical report generation achieves significant progress in recent years with the help of the large language model, however, these models have not fully exploited the effective information in visual image regions, resulting in reports that are linguistically sound but insufficient in describing key diseases. In this paper, we propose a novel associative memory-enhanced X-ray report generation model that effectively mimics the process of professional doctors writing medical reports. It considers both the mining of global and local visual information and associates historical report information to better complete the writing of the current report. Specifically, given an X-ray image, we first utilize a classification model along with its activation maps to accomplish the mining of visual regions highly associated with diseases and the learning of disease query tokens. Then, we employ a visual Hopfield network to establish memory associations for disease-related tokens, and a report Hopfield network to retrieve report memory information. This process facilitates the generation of high-quality reports based on a large language model and achieves state-of-the-art performance on multiple benchmark datasets, including the IU X-ray, MIMIC-CXR, and Chexpert Plus. The source code of this work is released on \url{https://github.com/Event-AHU/Medical_Image_Analysis}.
• Abstract（参考訳）: 近年,X線画像を用いた医療レポート生成は大きな言語モデルの助けを借りて大きな進歩を遂げているが,これらのモデルでは画像領域の有効情報を十分に活用していないため,言語学的に健全だが重要な疾患の記述に不十分な報告が得られた。 本稿では,専門医が医療報告を書く過程を効果的に模倣する,新しい連想型記憶強調X線レポート生成モデルを提案する。 グローバルなビジュアル情報とローカルなビジュアル情報の両方をマイニングし、過去のレポート情報を関連付けて、現在のレポートの書き直しをより良くする。 具体的には、X線画像から、まず、その活性化マップとともに分類モデルを用いて、疾患と関連性の高い視覚領域のマイニングと、疾患クエリトークンの学習を行う。 次に,疾患関連トークンのメモリアソシエーションを確立するためにビジュアルホップフィールドネットワークを用い,レポートホップフィールドネットワークを用いてレポートメモリ情報を検索する。 このプロセスは、大きな言語モデルに基づく高品質なレポートの生成を促進し、IU X線、MIMIC-CXR、Chexpert Plusを含む複数のベンチマークデータセット上で最先端のパフォーマンスを達成する。 この研究のソースコードは \url{https://github.com/Event-AHU/Medical_Image_Analysis} で公開されている。

関連論文リスト

• Resource-Efficient Medical Report Generation using Large Language Models [3.2627279988912194]
  医療報告生成は胸部X線画像の放射線診断レポートを自動作成する作業である。 本稿では,医療報告生成のタスクに視覚対応大規模言語モデル(LLM)を活用する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-21T05:08:18Z)
• Structural Entities Extraction and Patient Indications Incorporation for Chest X-ray Report Generation [10.46031380503486]
  胸部X線レポート生成のための新しい方法である textbfStructural textbfEntities 抽出法と textbfIncorporation (SEI) を考案した。 我々は、レポートにおけるプレゼンテーションスタイルの語彙を排除するために、構造エンティティ抽出(SEE)アプローチを採用する。 我々は,X線画像,類似の歴史的症例,患者固有の指標からの情報を統合するクロスモーダル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-05-23T01:29:47Z)
• SERPENT-VLM : Self-Refining Radiology Report Generation Using Vision Language Models [9.390882250428305]
  放射線学報告生成(R2Gen)は、マルチモーダル大言語モデル(MLLM)が正確で一貫性のある放射線学レポートの作成をいかに自動化できるかを示す。 既存の方法は、しばしば画像内容を正確に反映しないテキストベースのレポートで詳細を幻覚させる。 本稿では,自己修復機構をMLLMフレームワークに統合することにより,R2Genタスクを改善する新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-04-27T13:46:23Z)
• MedCycle: Unpaired Medical Report Generation via Cycle-Consistency [11.190146577567548]
  一貫性のあるラベリングスキーマを必要としない革新的なアプローチを導入する。 このアプローチは、画像埋め込みをレポート埋め込みに変換するサイクル一貫性マッピング関数に基づいている。 胸部X線所見の発生は、最先端の結果よりも優れており、言語と臨床の両方の指標の改善が示されている。
  論文  参考訳（メタデータ） (2024-03-20T09:40:11Z)
• XrayGPT: Chest Radiographs Summarization using Medical Vision-Language Models [60.437091462613544]
  我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。 胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。 自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
  論文  参考訳（メタデータ） (2023-06-13T17:59:59Z)
• Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report Generation [92.73584302508907]
  コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。 詳しくは、グラフの基本構造は一般知識から事前構築される。 各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
  論文  参考訳（メタデータ） (2023-03-18T03:53:43Z)
• Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
  我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。 提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
  論文  参考訳（メタデータ） (2022-09-28T10:27:10Z)
• Cross-modal Memory Networks for Radiology Report Generation [30.13916304931662]
  ラジオロジーレポート生成のためのエンコーダデコーダフレームワークを強化するために,クロスモーダルメモリネットワーク(CMN)を提案する。 本モデルでは,放射線画像やテキストからの情報の整合性が向上し,臨床指標の精度向上に寄与する。
  論文  参考訳（メタデータ） (2022-04-28T02:32:53Z)
• Generative Residual Attention Network for Disease Detection [51.60842580044539]
  本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。 我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。 次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
  論文  参考訳（メタデータ） (2021-10-25T14:15:57Z)
• Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation [107.3538598876467]
  放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。 ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
  論文  参考訳（メタデータ） (2020-06-06T01:00:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。