論文の概要: Radiology Report Generation with a Learned Knowledge Base and Multi-modal Alignment

• arxiv url: http://arxiv.org/abs/2112.15011v1
• Date: Thu, 30 Dec 2021 10:43:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-04 02:38:19.318881
• Title: Radiology Report Generation with a Learned Knowledge Base and Multi-modal Alignment
• Title（参考訳）: 学習知識ベースとマルチモーダルアライメントを用いた放射線学レポート生成
• Authors: Shuxin Yang, Xian Wu, Shen Ge, Xingwang Wu, S.Kevin Zhou, Li Xiao
• Abstract要約: 胸部X線からのレポート生成のための自動マルチモーダルアプローチを提案する。 本手法は,学習知識ベースとマルチモーダルアライメントの2つの異なるモジュールを特徴とする。 両モジュールの助けを借りて、我々のアプローチは明らかに最先端の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 27.111857943935725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In clinics, a radiology report is crucial for guiding a patient's treatment. Unfortunately, report writing imposes a heavy burden on radiologists. To effectively reduce such a burden, we hereby present an automatic, multi-modal approach for report generation from chest x-ray. Our approach, motivated by the observation that the descriptions in radiology reports are highly correlated with the x-ray images, features two distinct modules: (i) Learned knowledge base. To absorb the knowledge embedded in the above-mentioned correlation, we automatically build a knowledge base based on textual embedding. (ii) Multi-modal alignment. To promote the semantic alignment among reports, disease labels and images, we explicitly utilize textual embedding to guide the learning of the visual feature space. We evaluate the performance of the proposed model using metrics from both natural language generation and clinic efficacy on the public IU and MIMIC-CXR datasets. Our ablation study shows that each module contributes to improving the quality of generated reports. Furthermore, with the aid of both modules, our approach clearly outperforms state-of-the-art methods.
• Abstract（参考訳）: 診療所では、患者の治療を導くために放射線学報告が不可欠である。 残念ながら、レポート作成は放射線学者に重荷を課している。 このような負担を効果的に軽減するために,胸部X線からのレポート自動生成手法を提案する。 放射線学報告における記述がX線画像と高い相関関係にあるという観察から得られたアプローチは,2つの異なるモジュールを特徴とする。 (i)知識ベースを学ぶ。 上記の相関に埋め込まれた知識を吸収するために,テキスト埋め込みに基づく知識ベースを自動構築する。 (ii)マルチモーダルアライメント。 報告, 疾患ラベル, 画像間のセマンティックアライメントを促進するために, テキスト埋め込みを用いて視覚的特徴空間の学習を指導する。 IUおよびMIMIC-CXRデータセットを用いて、自然言語生成と臨床効果の指標を用いて、提案モデルの性能を評価する。 本研究は,各モジュールが生成したレポートの品質向上に寄与することを示す。 さらに、両モジュールの助けを借りて、我々の手法は最先端の手法よりも明らかに優れている。

関連論文リスト

• Activating Associative Disease-Aware Vision Token Memory for LLM-Based X-ray Report Generation [54.631356899598956]
  本稿では,専門医が医療報告を書く過程を効果的に模倣する,新しい連想型記憶強調X線レポート生成モデルを提案する。 我々は,病気関連トークンのメモリアソシエーションを確立するために,ビジュアルホップフィールドネットワークを使用し,レポートホップフィールドネットワークを用いてレポートメモリ情報を検索する。
  論文  参考訳（メタデータ） (2025-01-07T01:19:48Z)
• RadBARTsum: Domain Specific Adaption of Denoising Sequence-to-Sequence Models for Abstractive Radiology Report Summarization [1.8450534779202723]
  本研究では,抽象的放射線学レポート要約のためのドメイン固有かつ容易なBARTモデルの適応であるRadBARTsumを提案する。 本手法は,1)生物医学領域の知識学習を改善するための新しい実体マスキング戦略を用いて,放射線学報告の大規模コーパス上でBARTモデルを再学習すること,2)印象区間を予測するためにFindersとバックグラウンドセクションを用いて要約タスクのモデルを微調整すること,の2つの段階を含む。
  論文  参考訳（メタデータ） (2024-06-05T08:43:11Z)
• Structural Entities Extraction and Patient Indications Incorporation for Chest X-ray Report Generation [10.46031380503486]
  胸部X線レポート生成のための新しい方法である textbfStructural textbfEntities 抽出法と textbfIncorporation (SEI) を考案した。 我々は、レポートにおけるプレゼンテーションスタイルの語彙を排除するために、構造エンティティ抽出(SEE)アプローチを採用する。 我々は,X線画像,類似の歴史的症例,患者固有の指標からの情報を統合するクロスモーダル融合ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-05-23T01:29:47Z)
• Radiology Report Generation Using Transformers Conditioned with Non-imaging Data [55.17268696112258]
  本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。 提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
  論文  参考訳（メタデータ） (2023-11-18T14:52:26Z)
• Beyond Images: An Integrative Multi-modal Approach to Chest X-Ray Report Generation [47.250147322130545]
  画像からテキストまでの放射線学レポート生成は,医療画像の発見を記述した放射線学レポートを自動生成することを目的としている。 既存の方法の多くは画像データのみに焦点をあてており、他の患者情報は放射線科医に公開されていない。 胸部X線レポートを生成するための多モードディープニューラルネットワークフレームワークを,非構造的臨床ノートとともにバイタルサインや症状などの構造化された患者データを統合することで提案する。
  論文  参考訳（メタデータ） (2023-11-18T14:37:53Z)
• KiUT: Knowledge-injected U-Transformer for Radiology Report Generation [10.139767157037829]
  X線画像から臨床的正確で一貫性のある段落を自動的に生成することを目的とする。 知識注入型U-Transformer (KiUT) を提案する。
  論文  参考訳（メタデータ） (2023-06-20T07:27:28Z)
• Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report Generation [92.73584302508907]
  コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。 詳しくは、グラフの基本構造は一般知識から事前構築される。 各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
  論文  参考訳（メタデータ） (2023-03-18T03:53:43Z)
• Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
  我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。 提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
  論文  参考訳（メタデータ） (2022-09-28T10:27:10Z)
• Cross-modal Memory Networks for Radiology Report Generation [30.13916304931662]
  ラジオロジーレポート生成のためのエンコーダデコーダフレームワークを強化するために,クロスモーダルメモリネットワーク(CMN)を提案する。 本モデルでは,放射線画像やテキストからの情報の整合性が向上し,臨床指標の精度向上に寄与する。
  論文  参考訳（メタデータ） (2022-04-28T02:32:53Z)
• Variational Topic Inference for Chest X-Ray Report Generation [102.04931207504173]
  医療画像のレポート生成は、作業負荷を減らし、臨床実習における診断を支援することを約束する。 近年の研究では、ディープラーニングモデルが自然画像のキャプションに成功していることが示された。 本稿では,自動レポート生成のための変分トピック推論を提案する。
  論文  参考訳（メタデータ） (2021-07-15T13:34:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。