論文の概要: Cross-modal Memory Networks for Radiology Report Generation
- arxiv url: http://arxiv.org/abs/2204.13258v1
- Date: Thu, 28 Apr 2022 02:32:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-29 13:12:16.386178
- Title: Cross-modal Memory Networks for Radiology Report Generation
- Title（参考訳）: 放射線レポート生成のためのクロスモーダルメモリネットワーク
- Authors: Zhihong Chen, Yaling Shen, Yan Song, Xiang Wan
- Abstract要約: ラジオロジーレポート生成のためのエンコーダデコーダフレームワークを強化するために,クロスモーダルメモリネットワーク(CMN)を提案する。
本モデルでは,放射線画像やテキストからの情報の整合性が向上し,臨床指標の精度向上に寄与する。
- 参考スコア（独自算出の注目度）: 30.13916304931662
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Medical imaging plays a significant role in clinical practice of medical
diagnosis, where the text reports of the images are essential in understanding
them and facilitating later treatments. By generating the reports
automatically, it is beneficial to help lighten the burden of radiologists and
significantly promote clinical automation, which already attracts much
attention in applying artificial intelligence to medical domain. Previous
studies mainly follow the encoder-decoder paradigm and focus on the aspect of
text generation, with few studies considering the importance of cross-modal
mappings and explicitly exploit such mappings to facilitate radiology report
generation. In this paper, we propose a cross-modal memory networks (CMN) to
enhance the encoder-decoder framework for radiology report generation, where a
shared memory is designed to record the alignment between images and texts so
as to facilitate the interaction and generation across modalities. Experimental
results illustrate the effectiveness of our proposed model, where
state-of-the-art performance is achieved on two widely used benchmark datasets,
i.e., IU X-Ray and MIMIC-CXR. Further analyses also prove that our model is
able to better align information from radiology images and texts so as to help
generating more accurate reports in terms of clinical indicators.
- Abstract（参考訳）: 医学的画像診断は、画像のテキスト報告がそれらの理解とその後の治療の促進に不可欠である医療診断の臨床的実践において重要な役割を果たす。
レポートを自動的に生成することで、放射線科医の負担を軽減し、医療領域に人工知能を適用することに既に注目されている臨床自動化を著しく促進することが有益である。
これまでの研究は主にエンコーダ・デコーダのパラダイムを踏襲し、テキスト生成の側面に焦点を合わせてきたが、クロスモーダルマッピングの重要性を考慮し、放射線学レポート作成を促進するためにそのようなマッピングを明示的に活用する研究はほとんどなかった。
本稿では,画像とテキストのアライメントを共有メモリで記録し,モダリティ間のインタラクションや生成を容易にするように設計した,ラジオロジーレポート生成のためのエンコーダ・デコーダフレームワークを強化するためのクロスモーダルメモリネットワーク(cmn)を提案する。
実験結果から,IU X線とMIMIC-CXRという2つの広く使用されているベンチマークデータセット上で,最先端の性能を実現するモデルの有効性が示された。
また,さらなる分析により,放射線画像やテキストからの情報整合性が向上し,臨床指標の正確性が向上した。
関連論文リスト
- Eye-gaze Guided Multi-modal Alignment for Medical Representation Learning [65.54680361074882]
アイゲイズガイドマルチモーダルアライメント(EGMA)フレームワークは、アイゲイズデータを利用して、医用視覚的特徴とテキスト的特徴のアライメントを改善する。
我々は4つの医療データセット上で画像分類と画像テキスト検索の下流タスクを行う。
論文 参考訳（メタデータ） (2024-03-19T03:59:14Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳（メタデータ） (2023-11-18T14:52:26Z) - Beyond Images: An Integrative Multi-modal Approach to Chest X-Ray Report
Generation [47.250147322130545]
画像からテキストまでの放射線学レポート生成は,医療画像の発見を記述した放射線学レポートを自動生成することを目的としている。
既存の方法の多くは画像データのみに焦点をあてており、他の患者情報は放射線科医に公開されていない。
胸部X線レポートを生成するための多モードディープニューラルネットワークフレームワークを,非構造的臨床ノートとともにバイタルサインや症状などの構造化された患者データを統合することで提案する。
論文 参考訳（メタデータ） (2023-11-18T14:37:53Z) - KiUT: Knowledge-injected U-Transformer for Radiology Report Generation [10.139767157037829]
X線画像から臨床的正確で一貫性のある段落を自動的に生成することを目的とする。
知識注入型U-Transformer (KiUT) を提案する。
論文 参考訳（メタデータ） (2023-06-20T07:27:28Z) - Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report
Generation [92.73584302508907]
コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。
詳しくは、グラフの基本構造は一般知識から事前構築される。
各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
論文 参考訳（メタデータ） (2023-03-18T03:53:43Z) - Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。
提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
論文 参考訳（メタデータ） (2022-09-28T10:27:10Z) - Radiology Report Generation with a Learned Knowledge Base and
Multi-modal Alignment [27.111857943935725]
胸部X線からのレポート生成のための自動マルチモーダルアプローチを提案する。
本手法は,学習知識ベースとマルチモーダルアライメントの2つの異なるモジュールを特徴とする。
両モジュールの助けを借りて、我々のアプローチは明らかに最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2021-12-30T10:43:56Z) - Generating Radiology Reports via Memory-driven Transformer [38.30011851429407]
本稿では,メモリ駆動型トランスフォーマを用いた放射線学レポートの作成を提案する。
IU X線とMIMIC-CXRの2つの代表的な放射線学報告データセットの実験結果
論文 参考訳（メタデータ） (2020-10-30T04:08:03Z) - Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report
Generation [107.3538598876467]
放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。
ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
論文 参考訳（メタデータ） (2020-06-06T01:00:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。