論文の概要: Self adaptive global-local feature enhancement for radiology report generation

• arxiv url: http://arxiv.org/abs/2211.11380v1
• Date: Mon, 21 Nov 2022 11:50:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 18:02:41.691338
• Title: Self adaptive global-local feature enhancement for radiology report generation
• Title（参考訳）: 放射線レポート生成のための自己適応型グローバルローカル機能強化
• Authors: Yuhao Wang, Kai Wang, Xiaohong Liu, Tianrun Gao, Jingyue Zhang, Guangyu Wang
• Abstract要約: グローバル・解剖学的領域の特徴を動的に融合して多粒性放射線学レポートを生成する新しいフレームワーク AGFNet を提案する。 まず,入力胸部X線(CXR)の解剖学的特徴と大域的特徴を抽出する。 そして,領域の特徴とグローバルな特徴を入力として,提案した自己適応型核融合ゲートモジュールは動的に多粒性情報を融合することができる。 最後に、キャプション生成装置は、多粒性特徴により放射線学レポートを生成する。
• 参考スコア（独自算出の注目度）: 10.958641951927817
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated radiology report generation aims at automatically generating a detailed description of medical images, which can greatly alleviate the workload of radiologists and provide better medical services to remote areas. Most existing works pay attention to the holistic impression of medical images, failing to utilize important anatomy information. However, in actual clinical practice, radiologists usually locate important anatomical structures, and then look for signs of abnormalities in certain structures and reason the underlying disease. In this paper, we propose a novel framework AGFNet to dynamically fuse the global and anatomy region feature to generate multi-grained radiology report. Firstly, we extract important anatomy region features and global features of input Chest X-ray (CXR). Then, with the region features and the global features as input, our proposed self-adaptive fusion gate module could dynamically fuse multi-granularity information. Finally, the captioning generator generates the radiology reports through multi-granularity features. Experiment results illustrate that our model achieved the state-of-the-art performance on two benchmark datasets including the IU X-Ray and MIMIC-CXR. Further analyses also prove that our model is able to leverage the multi-grained information from radiology images and texts so as to help generate more accurate reports.
• Abstract（参考訳）: 自動放射線学レポート生成は, 医療画像の詳細な記述を自動的に生成することを目的としており, 放射線技師の作業負荷を大幅に軽減し, 遠隔地への医療サービスの改善を図っている。 既存の作品の多くは医学的イメージの全体的印象に注意を払っており、重要な解剖学的情報を活用できていない。 しかし、実際の臨床実践では、放射線科医は通常重要な解剖学的構造を見つけ、特定の構造に異常の兆候を見出し、根本疾患の原因となる。 本稿では,グローバルおよび解剖学的領域の特徴を動的に融合させ,多粒性放射線学レポートを生成する新しいフレームワーク AGFNet を提案する。 まず,入力胸部X線(CXR)の解剖学的特徴と大域的特徴を抽出する。 そして, 地域特徴とグローバル特徴を入力として, 提案する自己適応型フュージョンゲートモジュールは, マルチグラニュラ情報を動的に融合することができる。 最後に、キャプション生成装置は、マルチグラニュラリティ特徴により、放射線レポートを生成する。 実験結果から,IU X線とMIMIC-CXRを含む2つのベンチマークデータセットの最先端性能が得られた。 また,さらなる分析により,放射線画像やテキストから得られる複数の粒度情報を活用することで,より正確な報告を作成できることが証明された。

関連論文リスト

• Multi-modality Regional Alignment Network for Covid X-Ray Survival Prediction and Report Generation [36.343753593390254]
  本研究は,放射線学報告の生成と生存予測のための説明可能なモデルであるマルチモーダル地域アライメントネットワーク(MRANet)を提案する。 MRANetは、領域固有の記述を視覚的に根拠として、完了戦略を備えた堅牢な解剖学的領域を提供する。 横断LDMアライメントは、画像からテキストへの転送プロセスを強化するために使用され、その結果、臨床詳細に富んだ文と、放射線医の説明可能性が改善された。
  論文  参考訳（メタデータ） (2024-05-23T02:41:08Z)
• Large Model driven Radiology Report Generation with Clinical Quality Reinforcement Learning [16.849933628738277]
  放射線学報告生成 (RRG) は, 放射線技師の作業量削減の可能性から注目されている。 本稿では,新しいRRG法である textbfLM-RRG について紹介する。 MIMIC-CXRおよびIU-Xrayデータセットを用いた実験により,本手法が技術状況よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-11T13:47:11Z)
• Complex Organ Mask Guided Radiology Report Generation [13.96983438709763]
  我々は,複合臓器マスクガイド(COMG)レポート生成モデルを提案する。 融合過程において各臓器に対応する疾患の事前知識を活用し,疾患の同定フェーズを増強する。 2つの公開データセットの結果、COMGはSOTAモデルKiUTよりもBLEU@4スコアで11.4%と9.7%改善している。
  論文  参考訳（メタデータ） (2023-11-04T05:34:24Z)
• ChatRadio-Valuer: A Chat Large Language Model for Generalizable Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
  ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。 本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。 ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
  論文  参考訳（メタデータ） (2023-10-08T17:23:17Z)
• XrayGPT: Chest Radiographs Summarization using Medical Vision-Language Models [60.437091462613544]
  我々は,会話型医療ビジョン言語モデルであるXrayGPTを紹介する。 胸部X線写真に関するオープンエンドの質問を分析し、答えることができる。 自由テキストラジオグラフィーレポートから217kの対話的かつ高品質な要約を生成する。
  論文  参考訳（メタデータ） (2023-06-13T17:59:59Z)
• Act Like a Radiologist: Radiology Report Generation across Anatomical Regions [50.13206214694885]
  X-RGenは6つの解剖学的領域にわたる放射線学者によるレポート生成フレームワークである。 X-RGenでは、ヒトの放射線学者の行動を模倣し、これらを4つの主要な段階に分解する。 画像エンコーダの認識能力は,各領域にまたがる画像やレポートを分析して向上する。
  論文  参考訳（メタデータ） (2023-05-26T07:12:35Z)
• Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
  我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。 提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
  論文  参考訳（メタデータ） (2022-09-28T10:27:10Z)
• Generative Residual Attention Network for Disease Detection [51.60842580044539]
  本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。 我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。 次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
  論文  参考訳（メタデータ） (2021-10-25T14:15:57Z)
• Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation [107.3538598876467]
  放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。 ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
  論文  参考訳（メタデータ） (2020-06-06T01:00:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。