論文の概要: Memory-based Cross-modal Semantic Alignment Network for Radiology Report Generation
- arxiv url: http://arxiv.org/abs/2404.00588v1
- Date: Sun, 31 Mar 2024 07:30:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 02:50:30.131314
- Title: Memory-based Cross-modal Semantic Alignment Network for Radiology Report Generation
- Title（参考訳）: メモリを用いた無線通信用クロスモーダルセマンティックアライメントネットワーク
- Authors: Yitian Tao, Liyan Ma, Jing Yu, Han Zhang,
- Abstract要約: 疾患に関連する重要な情報は、画像と報告の両方においてわずかに占める。
このモデルでは, 放射線画像と報告との間に潜伏する関係を学習することは困難であり, 流動的で正確な放射線画像を生成することは困難である。
メモリベースのクロスモーダルアライメントモデル(MCSAM)をエンコーダ・デコーダのパラダイムに従って提案する。
- 参考スコア（独自算出の注目度）: 5.314122066634083
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating radiology reports automatically reduces the workload of radiologists and helps the diagnoses of specific diseases. Many existing methods take this task as modality transfer process. However, since the key information related to disease accounts for a small proportion in both image and report, it is hard for the model to learn the latent relation between the radiology image and its report, thus failing to generate fluent and accurate radiology reports. To tackle this problem, we propose a memory-based cross-modal semantic alignment model (MCSAM) following an encoder-decoder paradigm. MCSAM includes a well initialized long-term clinical memory bank to learn disease-related representations as well as prior knowledge for different modalities to retrieve and use the retrieved memory to perform feature consolidation. To ensure the semantic consistency of the retrieved cross modal prior knowledge, a cross-modal semantic alignment module (SAM) is proposed. SAM is also able to generate semantic visual feature embeddings which can be added to the decoder and benefits report generation. More importantly, to memorize the state and additional information while generating reports with the decoder, we use learnable memory tokens which can be seen as prompts. Extensive experiments demonstrate the promising performance of our proposed method which generates state-of-the-art performance on the MIMIC-CXR dataset.
- Abstract（参考訳）: 放射線学レポートの生成は、放射線科医の作業量を自動で減らし、特定の疾患の診断を助ける。
多くの既存手法は、このタスクをモダリティ伝達過程とみなしている。
しかし, 画像と報告の双方において, 疾患に関する重要な情報が少なからぬ割合を占めるため, 画像と報告の潜伏関係を学習することは困難である。
この問題に対処するために,エンコーダ・デコーダのパラダイムに従ってメモリベースのクロスモーダルセマンティックアライメントモデル(MCSAM)を提案する。
MCSAMは、疾患関連表現を学ぶための、十分に初期化された長期臨床記憶銀行と、検索されたメモリを検索し、使用するための様々なモダリティに関する事前知識を含んでいる。
得られたクロスモーダル事前知識のセマンティック一貫性を確保するために、クロスモーダルセマンティックアライメントモジュール(SAM)を提案する。
SAMはまた、デコーダに追加できるセマンティックな視覚的特徴の埋め込みを生成し、レポート生成に役立てることができる。
さらに重要なことは、デコーダでレポートを生成しながら状態と追加情報を記憶するために、学習可能なメモリトークンを使用します。
実験の結果,MIMIC-CXRデータセット上で最先端の性能を生成する提案手法の有望な性能を実証した。
関連論文リスト
- Structural Entities Extraction and Patient Indications Incorporation for Chest X-ray Report Generation [10.46031380503486]
胸部X線レポート生成のための新しい方法である textbfStructural textbfEntities 抽出法と textbfIncorporation (SEI) を考案した。
我々は、レポートにおけるプレゼンテーションスタイルの語彙を排除するために、構造エンティティ抽出(SEE)アプローチを採用する。
我々は,X線画像,類似の歴史的症例,患者固有の指標からの情報を統合するクロスモーダル融合ネットワークを提案する。
論文 参考訳（メタデータ） (2024-05-23T01:29:47Z) - FORESEE: Multimodal and Multi-view Representation Learning for Robust Prediction of Cancer Survival [3.4686401890974197]
マルチモーダル情報のマイニングにより患者生存を確実に予測する新しいエンドツーエンドフレームワークFOESEEを提案する。
クロスフュージョントランスフォーマーは、細胞レベル、組織レベル、腫瘍の不均一度レベルの特徴を効果的に利用し、予後を相関させる。
ハイブリットアテンションエンコーダ(HAE)は、コンテキストアテンションモジュールを用いて、コンテキスト関係の特徴を取得する。
また、モダリティ内の損失情報を再構成する非対称マスク型3重マスク型オートエンコーダを提案する。
論文 参考訳（メタデータ） (2024-05-13T12:39:08Z) - RaDialog: A Large Vision-Language Model for Radiology Report Generation
and Conversational Assistance [53.20640629352422]
会話型AIツールは、所定の医療画像に対して臨床的に正しい放射線学レポートを生成し、議論することができる。
RaDialogは、ラジオロジーレポート生成と対話ダイアログのための、初めて徹底的に評価され、公開された大きな視覚言語モデルである。
本手法は,報告生成における最先端の臨床的正確性を実現し,報告の修正や質問への回答などのインタラクティブなタスクにおいて,印象的な能力を示す。
論文 参考訳（メタデータ） (2023-11-30T16:28:40Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳（メタデータ） (2023-11-18T14:52:26Z) - Multi-task Paired Masking with Alignment Modeling for Medical
Vision-Language Pre-training [55.56609500764344]
本稿では,マルチタスク・ペアド・マスキング・アライメント(MPMA)に基づく統合フレームワークを提案する。
また, メモリ拡張クロスモーダルフュージョン (MA-CMF) モジュールを導入し, 視覚情報を完全統合し, レポート再構築を支援する。
論文 参考訳（メタデータ） (2023-05-13T13:53:48Z) - Cross-Modal Causal Intervention for Medical Report Generation [109.83549148448469]
医療報告生成(MRG)は、コンピュータ支援診断と治療指導に不可欠である。
視覚的および言語的バイアスによって引き起こされる画像テキストデータ内の素早い相関のため、病変領域を確実に記述した正確なレポートを生成することは困難である。
本稿では,視覚分解モジュール (VDM) と言語分解モジュール (LDM) からなるMRGのための新しい視覚言語因果干渉 (VLCI) フレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-16T07:23:55Z) - Cross-modal Memory Networks for Radiology Report Generation [30.13916304931662]
ラジオロジーレポート生成のためのエンコーダデコーダフレームワークを強化するために,クロスモーダルメモリネットワーク(CMN)を提案する。
本モデルでは,放射線画像やテキストからの情報の整合性が向上し,臨床指標の精度向上に寄与する。
論文 参考訳（メタデータ） (2022-04-28T02:32:53Z) - Cross-Modality Deep Feature Learning for Brain Tumor Segmentation [158.8192041981564]
本稿では, マルチモーダルMRIデータから脳腫瘍を抽出するクロスモーダルディープ・フィーチャーラーニング・フレームワークを提案する。
中心となる考え方は、不十分なデータスケールを補うために、マルチモダリティデータにまたがる豊富なパターンをマイニングすることだ。
on the BraTS benchmarks, this proposed cross-modality deep feature learning framework could effective improve the brain tumor segmentation performance。
論文 参考訳（メタデータ） (2022-01-07T07:46:01Z) - Radiology Report Generation with a Learned Knowledge Base and
Multi-modal Alignment [27.111857943935725]
胸部X線からのレポート生成のための自動マルチモーダルアプローチを提案する。
本手法は,学習知識ベースとマルチモーダルアライメントの2つの異なるモジュールを特徴とする。
両モジュールの助けを借りて、我々のアプローチは明らかに最先端の手法よりも優れている。
論文 参考訳（メタデータ） (2021-12-30T10:43:56Z) - G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for
Biomarker Identification and Disease Classification [49.53651166356737]
診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。
2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
論文 参考訳（メタデータ） (2021-01-27T19:28:04Z) - Generating Radiology Reports via Memory-driven Transformer [38.30011851429407]
本稿では,メモリ駆動型トランスフォーマを用いた放射線学レポートの作成を提案する。
IU X線とMIMIC-CXRの2つの代表的な放射線学報告データセットの実験結果
論文 参考訳（メタデータ） (2020-10-30T04:08:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。