論文の概要: Radiology Report Generation Using Transformers Conditioned with Non-imaging Data

• arxiv url: http://arxiv.org/abs/2311.11097v1
• Date: Sat, 18 Nov 2023 14:52:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 12:15:01.058887
• Title: Radiology Report Generation Using Transformers Conditioned with Non-imaging Data
• Title（参考訳）: 非撮像データを用いた変圧器を用いた放射線レポート生成
• Authors: Nurbanu Aksoy, Nishant Ravikumar and Alejandro F Frangi
• Abstract要約: 本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。 提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
• 参考スコア（独自算出の注目度）: 55.17268696112258
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Medical image interpretation is central to most clinical applications such as disease diagnosis, treatment planning, and prognostication. In clinical practice, radiologists examine medical images and manually compile their findings into reports, which can be a time-consuming process. Automated approaches to radiology report generation, therefore, can reduce radiologist workload and improve efficiency in the clinical pathway. While recent deep-learning approaches for automated report generation from medical images have seen some success, most studies have relied on image-derived features alone, ignoring non-imaging patient data. Although a few studies have included the word-level contexts along with the image, the use of patient demographics is still unexplored. This paper proposes a novel multi-modal transformer network that integrates chest x-ray (CXR) images and associated patient demographic information, to synthesise patient-specific radiology reports. The proposed network uses a convolutional neural network to extract visual features from CXRs and a transformer-based encoder-decoder network that combines the visual features with semantic text embeddings of patient demographic information, to synthesise full-text radiology reports. Data from two public databases were used to train and evaluate the proposed approach. CXRs and reports were extracted from the MIMIC-CXR database and combined with corresponding patients' data MIMIC-IV. Based on the evaluation metrics used including patient demographic information was found to improve the quality of reports generated using the proposed approach, relative to a baseline network trained using CXRs alone. The proposed approach shows potential for enhancing radiology report generation by leveraging rich patient metadata and combining semantic text embeddings derived thereof, with medical image-derived visual features.
• Abstract（参考訳）: 医用画像の解釈は、疾患診断、治療計画、予後など、ほとんどの臨床応用の中心である。 臨床において、放射線科医は医療画像を調べ、その結果を手作業でレポートにまとめる。 したがって、放射線学報告生成に対する自動的アプローチは、放射線科医の作業量を減らし、臨床経路の効率を向上させることができる。 最近の医学画像からのレポート自動生成のためのディープラーニングアプローチは成功を収めているが、ほとんどの研究は画像由来の機能のみに依存しており、非画像データを無視している。 画像とともに単語レベルの文脈を含む研究がいくつかあるが、患者層の使用はいまだに未調査である。 本稿では,胸部x線(cxr)画像と関連する人口統計情報を統合し,患者固有のx線レポートを合成するマルチモーダルトランスフォーマネットワークを提案する。 提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークを用いて、全文ラジオグラフィーレポートを合成する。 提案手法のトレーニングと評価には,2つの公開データベースのデータを使用した。 CXRと報告はMIMIC-CXRデータベースから抽出され、対応する患者のMIMIC-IVデータと組み合わせられた。 患者統計情報を含む評価指標を用いて,CXRだけでトレーニングしたベースラインネットワークと比較して,提案手法による報告の質の向上が認められた。 提案手法は, リッチな患者メタデータを活用し, その意味的テキスト埋め込みと医用画像からの視覚特徴を組み合わせることで, 放射線学的レポート生成の促進の可能性を示す。

関連論文リスト

• D-Rax: Domain-specific Radiologic assistant leveraging multi-modal data and eXpert model predictions [8.50767187405446]
  ドメイン固有の対話型無線支援ツールD-Raxを提案する。 我々は胸部X線(CXR)画像の会話解析を強化し,放射線学的報告を支援する。 オープン・エンド・会話とクローズド・会話の双方において,反応の統計的に有意な改善が認められた。
  論文  参考訳（メタデータ） (2024-07-02T18:43:10Z)
• The Impact of Auxiliary Patient Data on Automated Chest X-Ray Report Generation and How to Incorporate It [12.61239008314719]
  本研究は,胸部X線自動レポート生成のための多モーダル言語モデルへの多様な患者データソースの統合について検討する。 MIMIC-CXRおよびMIMIC-IV-EDデータセットを用いて, 診断精度を高めるために, バイタルサイン周期, 医薬, 臨床歴などの詳細な患者情報を組み込んだ。
  論文  参考訳（メタデータ） (2024-06-19T03:25:31Z)
• Structural Entities Extraction and Patient Indications Incorporation for Chest X-ray Report Generation [10.46031380503486]
  胸部X線レポート生成のための新しい方法である textbfStructural textbfEntities 抽出法と textbfIncorporation (SEI) を考案した。 我々は、レポートにおけるプレゼンテーションスタイルの語彙を排除するために、構造エンティティ抽出(SEE)アプローチを採用する。 我々は,X線画像,類似の歴史的症例,患者固有の指標からの情報を統合するクロスモーダル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-05-23T01:29:47Z)
• RaDialog: A Large Vision-Language Model for Radiology Report Generation and Conversational Assistance [53.20640629352422]
  会話型AIツールは、所定の医療画像に対して臨床的に正しい放射線学レポートを生成し、議論することができる。 RaDialogは、ラジオロジーレポート生成と対話ダイアログのための、初めて徹底的に評価され、公開された大きな視覚言語モデルである。 本手法は,報告生成における最先端の臨床的正確性を実現し,報告の修正や質問への回答などのインタラクティブなタスクにおいて,印象的な能力を示す。
  論文  参考訳（メタデータ） (2023-11-30T16:28:40Z)
• Beyond Images: An Integrative Multi-modal Approach to Chest X-Ray Report Generation [47.250147322130545]
  画像からテキストまでの放射線学レポート生成は,医療画像の発見を記述した放射線学レポートを自動生成することを目的としている。 既存の方法の多くは画像データのみに焦点をあてており、他の患者情報は放射線科医に公開されていない。 胸部X線レポートを生成するための多モードディープニューラルネットワークフレームワークを,非構造的臨床ノートとともにバイタルサインや症状などの構造化された患者データを統合することで提案する。
  論文  参考訳（メタデータ） (2023-11-18T14:37:53Z)
• ChatRadio-Valuer: A Chat Large Language Model for Generalizable Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
  ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。 本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。 ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
  論文  参考訳（メタデータ） (2023-10-08T17:23:17Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
  我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。 提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
  論文  参考訳（メタデータ） (2022-09-28T10:27:10Z)
• Cross-modal Memory Networks for Radiology Report Generation [30.13916304931662]
  ラジオロジーレポート生成のためのエンコーダデコーダフレームワークを強化するために,クロスモーダルメモリネットワーク(CMN)を提案する。 本モデルでは,放射線画像やテキストからの情報の整合性が向上し,臨床指標の精度向上に寄与する。
  論文  参考訳（メタデータ） (2022-04-28T02:32:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。