論文の概要: Complex Organ Mask Guided Radiology Report Generation

• arxiv url: http://arxiv.org/abs/2311.02329v2
• Date: Fri, 10 Nov 2023 04:24:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-13 17:14:28.874387
• Title: Complex Organ Mask Guided Radiology Report Generation
• Title（参考訳）: 複合臓器マスクガイド放射線治療報告の作成
• Authors: Tiancheng Gu, Dongnan Liu, Zhiyuan Li, Weidong Cai
• Abstract要約: 我々は,複合臓器マスクガイド(COMG)レポート生成モデルを提案する。 融合過程において各臓器に対応する疾患の事前知識を活用し,疾患の同定フェーズを増強する。 2つの公開データセットの結果、COMGはSOTAモデルKiUTよりもBLEU@4スコアで11.4%と9.7%改善している。
• 参考スコア（独自算出の注目度）: 13.96983438709763
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of automatic report generation is to generate a clinically accurate and coherent phrase from a single given X-ray image, which could alleviate the workload of traditional radiology reporting. However, in a real-world scenario, radiologists frequently face the challenge of producing extensive reports derived from numerous medical images, thereby medical report generation from multi-image perspective is needed. In this paper, we propose the Complex Organ Mask Guided (termed as COMG) report generation model, which incorporates masks from multiple organs (e.g., bones, lungs, heart, and mediastinum), to provide more detailed information and guide the model's attention to these crucial body regions. Specifically, we leverage prior knowledge of the disease corresponding to each organ in the fusion process to enhance the disease identification phase during the report generation process. Additionally, cosine similarity loss is introduced as target function to ensure the convergence of cross-modal consistency and facilitate model optimization.Experimental results on two public datasets show that COMG achieves a 11.4% and 9.7% improvement in terms of BLEU@4 scores over the SOTA model KiUT on IU-Xray and MIMIC, respectively. The code is publicly available at https://github.com/GaryGuTC/COMG_model.
• Abstract（参考訳）: 自動レポート生成の目的は、単一のX線画像から臨床的に正確で一貫性のあるフレーズを生成することである。 しかし、現実のシナリオでは、多くの医用画像から広範なレポートを生成するという課題にしばしば直面するため、多視点からの医用レポート作成が必要となる。 本稿では,複数の臓器(骨,肺,心臓,縦隔など)のマスクを組み込んだ複合臓器マスクガイド(COMG)レポート生成モデルを提案する。 具体的には, 融合過程における各臓器に対応する疾患の事前知識を活用して, 報告生成過程における疾患識別フェーズを増強する。 さらに、コサイン類似度損失を目標関数として、クロスモーダル一貫性の収束を保証し、モデルの最適化を促進するとともに、COMGがそれぞれIU-Xray上のSOTAモデルKiUTとMIMICのBLEU@4スコアで11.4%と9.7%の改善を達成したことを示す。 コードはhttps://github.com/GaryGuTC/COMG_modelで公開されている。

関連論文リスト

• RadGenome-Chest CT: A Grounded Vision-Language Dataset for Chest CT Analysis [56.57177181778517]
  RadGenome-Chest CTはCT-RATEに基づく大規模3次元胸部CT解釈データセットである。 私たちは、最新の強力なユニバーサルセグメンテーションと大きな言語モデルを活用して、元のデータセットを拡張します。
  論文  参考訳（メタデータ） (2024-04-25T17:11:37Z)
• MAIRA-1: A specialised large multimodal model for radiology report generation [41.69727330319648]
  胸部X線(CXR)から放射線学的レポートを生成するための放射線学固有のマルチモーダルモデルを提案する。 我々の研究は、学習済みの視覚エンコーダとアライメントすることで、大規模言語モデルにマルチモーダル機能を持たせることができるという考えに基づいている。 提案モデル(MAIRA-1)は,Vicuna-7Bに基づく微調整された大規模言語モデルと協調してCXR固有の画像エンコーダを利用して,最先端の品質のレポートを生成する。
  論文  参考訳（メタデータ） (2023-11-22T19:45:40Z)
• Beyond Images: An Integrative Multi-modal Approach to Chest X-Ray Report Generation [47.250147322130545]
  画像からテキストまでの放射線学レポート生成は,医療画像の発見を記述した放射線学レポートを自動生成することを目的としている。 既存の方法の多くは画像データのみに焦点をあてており、他の患者情報は放射線科医に公開されていない。 胸部X線レポートを生成するための多モードディープニューラルネットワークフレームワークを,非構造的臨床ノートとともにバイタルサインや症状などの構造化された患者データを統合することで提案する。
  論文  参考訳（メタデータ） (2023-11-18T14:37:53Z)
• ChatRadio-Valuer: A Chat Large Language Model for Generalizable Radiology Report Generation Based on Multi-institution and Multi-system Data [115.0747462486285]
  ChatRadio-Valuerは、一般化可能な表現を学習する自動放射線学レポート生成のための調整されたモデルである。 本研究で利用した臨床データセットは,textbf332,673の顕著な総計を含む。 ChatRadio-Valuerは、最先端のモデル、特にChatGPT(GPT-3.5-Turbo)やGPT-4などより一貫して優れている。
  論文  参考訳（メタデータ） (2023-10-08T17:23:17Z)
• Self adaptive global-local feature enhancement for radiology report generation [10.958641951927817]
  グローバル・解剖学的領域の特徴を動的に融合して多粒性放射線学レポートを生成する新しいフレームワーク AGFNet を提案する。 まず,入力胸部X線(CXR)の解剖学的特徴と大域的特徴を抽出する。 そして,領域の特徴とグローバルな特徴を入力として,提案した自己適応型核融合ゲートモジュールは動的に多粒性情報を融合することができる。 最後に、キャプション生成装置は、多粒性特徴により放射線学レポートを生成する。
  論文  参考訳（メタデータ） (2022-11-21T11:50:42Z)
• Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
  我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。 提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
  論文  参考訳（メタデータ） (2022-09-28T10:27:10Z)
• AlignTransformer: Hierarchical Alignment of Visual Regions and Disease Tags for Medical Report Generation [50.21065317817769]
  本稿では,Align Hierarchical Attention (AHA)とMulti-Grained Transformer (MGT)モジュールを含むAlign Transformerフレームワークを提案する。 パブリックなIU-XrayとMIMIC-CXRデータセットの実験は、AlignTransformerが2つのデータセットの最先端メソッドと競合する結果が得られることを示している。
  論文  参考訳（メタデータ） (2022-03-18T13:43:53Z)
• Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for Thoracic Disease Identification [83.6017225363714]
  ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。 胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。 本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T02:29:30Z)
• Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation [107.3538598876467]
  放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。 ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
  論文  参考訳（メタデータ） (2020-06-06T01:00:15Z)
• Show, Describe and Conclude: On Exploiting the Structure Information of Chest X-Ray Reports [5.6070625920019825]
  胸部X線像(CXR)は臨床検診や診断に一般的に用いられる。 レポートのセクションと内部の複雑な構造は、自動レポート生成に大きな課題をもたらします。 本稿では,CXRイメージングレポートを生成するために,レポートセクション間の構造情報を利用する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-26T02:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。