論文の概要: Multimodal Image-Text Matching Improves Retrieval-based Chest X-Ray Report Generation

• arxiv url: http://arxiv.org/abs/2303.17579v1
• Date: Wed, 29 Mar 2023 04:00:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-31 12:22:49.789803
• Title: Multimodal Image-Text Matching Improves Retrieval-based Chest X-Ray Report Generation
• Title（参考訳）: マルチモーダル画像テキストマッチングによる検索型胸部X線レポート生成の改善
• Authors: Jaehwan Jeong, Katherine Tian, Andrew Li, Sina Hartung, Fardad Behzadi, Juan Calle, David Osayande, Michael Pohlen, Subathra Adithan, Pranav Rajpurkar
• Abstract要約: X-REM (Contrastive X-Ray Report Match) は、X-REM (X-REM) という新しい検索方式の放射線学レポート生成モジュールである。 X-REMは、胸部X線画像の類似度を測定するための画像テキストマッチングスコアと、レポート検索のための放射線診断レポートを使用する。
• 参考スコア（独自算出の注目度）: 3.6664023341224827
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated generation of clinically accurate radiology reports can improve patient care. Previous report generation methods that rely on image captioning models often generate incoherent and incorrect text due to their lack of relevant domain knowledge, while retrieval-based attempts frequently retrieve reports that are irrelevant to the input image. In this work, we propose Contrastive X-Ray REport Match (X-REM), a novel retrieval-based radiology report generation module that uses an image-text matching score to measure the similarity of a chest X-ray image and radiology report for report retrieval. We observe that computing the image-text matching score with a language-image model can effectively capture the fine-grained interaction between image and text that is often lost when using cosine similarity. X-REM outperforms multiple prior radiology report generation modules in terms of both natural language and clinical metrics. Human evaluation of the generated reports suggests that X-REM increased the number of zero-error reports and decreased the average error severity compared to the baseline retrieval approach. Our code is available at: https://github.com/rajpurkarlab/X-REM
• Abstract（参考訳）: 臨床的に正確な放射線診断レポートの自動生成は、患者のケアを改善することができる。 画像キャプションモデルに依存する従来のレポート生成方法は、関連するドメイン知識の欠如により一貫性のない不正確なテキストを生成することが多いが、検索ベースの試みは入力画像と無関係なレポートを頻繁に取り出す。 本研究では,胸部X線画像とX線画像の類似性を測定するために画像テキストマッチングスコアを用いた新しい検索用X線レポート生成モジュールであるContrastive X-Ray Report Match (X-REM)を提案する。 画像テキストマッチングスコアを言語画像モデルで計算することで、コサイン類似性を用いてしばしば失われる画像とテキストのきめ細かい相互作用を効果的に捉えることができる。 X-REMは、自然言語と臨床メトリクスの両方の観点から、複数の先行放射線学レポート生成モジュールより優れている。 X-REMはゼロエラーレポートの数を増大させ,ベースライン検索手法と比較して平均エラー重大度を低下させた。 私たちのコードは、https://github.com/rajpurkarlab/X-REMで利用可能です。

関連論文リスト

• Improving Factuality of 3D Brain MRI Report Generation with Paired Image-domain Retrieval and Text-domain Augmentation [42.13004422063442]
  急性虚血性脳梗塞(AIS)は、時間的クリティカルな管理を必要とし、数時間の介入が遅れて、患者の不可逆的な障害につながる。 磁気共鳴画像(MRI)を用いた拡散強調画像(DWI)はAISの検出において重要な役割を担っているため,DWIからのAISの自動予測は臨床的に重要な課題となっている。 画像所見から最も関連性の高い臨床情報を含むテキストラジオグラフィー報告では, 従来のDWI-to-report 生成法では, 異なるモダリティのマッピングが困難であった。
  論文  参考訳（メタデータ） (2024-11-23T08:18:55Z)
• MedCycle: Unpaired Medical Report Generation via Cycle-Consistency [11.190146577567548]
  一貫性のあるラベリングスキーマを必要としない革新的なアプローチを導入する。 このアプローチは、画像埋め込みをレポート埋め込みに変換するサイクル一貫性マッピング関数に基づいている。 胸部X線所見の発生は、最先端の結果よりも優れており、言語と臨床の両方の指標の改善が示されている。
  論文  参考訳（メタデータ） (2024-03-20T09:40:11Z)
• Fine-Grained Image-Text Alignment in Medical Imaging Enables Explainable Cyclic Image-Report Generation [91.63262242041695]
  本稿では,胸部X線画像領域と医療報告における単語を関連付けるために,適応パッチワードマッチング(AdaMatch)モデルを提案する。 AdaMatchは、適応パッチと単語のきめ細かい関係を利用して、対応する単語で特定の画像領域の説明を提供する。 CXRレポート生成タスクの明示的な説明性を提供するため,循環型CXRレポート生成のためのAdaMatchベースの双方向大言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-12-13T11:47:28Z)
• RaDialog: A Large Vision-Language Model for Radiology Report Generation and Conversational Assistance [53.20640629352422]
  会話型AIツールは、所定の医療画像に対して臨床的に正しい放射線学レポートを生成し、議論することができる。 RaDialogは、ラジオロジーレポート生成と対話ダイアログのための、初めて徹底的に評価され、公開された大きな視覚言語モデルである。 本手法は,報告生成における最先端の臨床的正確性を実現し,報告の修正や質問への回答などのインタラクティブなタスクにおいて,印象的な能力を示す。
  論文  参考訳（メタデータ） (2023-11-30T16:28:40Z)
• Radiology Report Generation Using Transformers Conditioned with Non-imaging Data [55.17268696112258]
  本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。 提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
  論文  参考訳（メタデータ） (2023-11-18T14:52:26Z)
• Beyond Images: An Integrative Multi-modal Approach to Chest X-Ray Report Generation [47.250147322130545]
  画像からテキストまでの放射線学レポート生成は,医療画像の発見を記述した放射線学レポートを自動生成することを目的としている。 既存の方法の多くは画像データのみに焦点をあてており、他の患者情報は放射線科医に公開されていない。 胸部X線レポートを生成するための多モードディープニューラルネットワークフレームワークを,非構造的臨床ノートとともにバイタルサインや症状などの構造化された患者データを統合することで提案する。
  論文  参考訳（メタデータ） (2023-11-18T14:37:53Z)
• Style-Aware Radiology Report Generation with RadGraph and Few-Shot Prompting [5.596515201054671]
  放射線学レポート生成のための2段階のアプローチを提案する。 まず,画像から内容を取り出す。次に,抽出した内容を,特定の放射線技師のスタイルにマッチしたレポートに言語化する。
  論文  参考訳（メタデータ） (2023-10-26T23:06:38Z)
• Replace and Report: NLP Assisted Radiology Report Generation [31.309987297324845]
  無線画像から放射線学レポートを生成するためのテンプレートベースの手法を提案する。 胸部X線検査では, 異常所見の少ない文章を作成し, 正常な報告テンプレートに置き換えることにより, 胸部X線所見を初めて生成する試みである。
  論文  参考訳（メタデータ） (2023-06-19T10:04:42Z)
• Writing by Memorizing: Hierarchical Retrieval-based Medical Report Generation [26.134055930805523]
  レポートと文レベルのテンプレートの両方を自動的に抽出する新しい階層的検索機構を組み込んだMedWriterを提案する。 MedWriterはまずVisual-Language Retrieval(VLR)モジュールを使用して、与えられた画像の最も関連性の高いレポートを取得する。 文間の論理的一貫性を保証するため、言語言語検索(LLR)モジュールを導入し、関連する文を検索する。 最終的に、言語デコーダは、検索されたレポートと文から画像の特徴と特徴を融合して、意味のある医療レポートを生成する。
  論文  参考訳（メタデータ） (2021-05-25T07:47:23Z)
• Chest X-ray Report Generation through Fine-Grained Label Learning [46.352966049776875]
  画像から詳細な所見を学習する領域認識自動胸部X線診断レポート生成アルゴリズムを提案する。 また、画像にそのような記述子を割り当てる自動ラベリングアルゴリズムを開発し、発見の粗い記述ときめ細かい記述の両方を認識する新しいディープラーニングネットワークを構築した。
  論文  参考訳（メタデータ） (2020-07-27T19:50:56Z)
• Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation [107.3538598876467]
  放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。 ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
  論文  参考訳（メタデータ） (2020-06-06T01:00:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。