論文の概要: Medical Report Generation based on Segment-Enhanced Contrastive Representation Learning

• arxiv url: http://arxiv.org/abs/2312.15869v1
• Date: Tue, 26 Dec 2023 03:33:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 15:53:30.353004
• Title: Medical Report Generation based on Segment-Enhanced Contrastive Representation Learning
• Title（参考訳）: segment-enhanced contrastive representation learningに基づく医学レポート生成
• Authors: Ruoqing Zhao, Xi Wang, Hongliang Dai, Pan Gao, Piji Li
• Abstract要約: 臓器, 異常, 骨等を分類するためのMSCL(医学画像とコントラスト学習)を提案する。 トレーニング中にターゲットとセマンティックに類似したレポートにより多くの重みを割り当てる教師付きコントラスト損失を導入する。 実験の結果,提案手法の有効性が示され,IU X線公開データセット上での最先端性能が得られた。
• 参考スコア（独自算出の注目度）: 39.17345313432545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated radiology report generation has the potential to improve radiology reporting and alleviate the workload of radiologists. However, the medical report generation task poses unique challenges due to the limited availability of medical data and the presence of data bias. To maximize the utility of available data and reduce data bias, we propose MSCL (Medical image Segmentation with Contrastive Learning), a framework that utilizes the Segment Anything Model (SAM) to segment organs, abnormalities, bones, etc., and can pay more attention to the meaningful ROIs in the image to get better visual representations. Then we introduce a supervised contrastive loss that assigns more weight to reports that are semantically similar to the target while training. The design of this loss function aims to mitigate the impact of data bias and encourage the model to capture the essential features of a medical image and generate high-quality reports. Experimental results demonstrate the effectiveness of our proposed model, where we achieve state-of-the-art performance on the IU X-Ray public dataset.
• Abstract（参考訳）: 自動放射線学レポート生成は、放射線学レポートを改善し、放射線科医の作業負荷を軽減する可能性を秘めている。 しかし、医療報告生成タスクは、医療データの可用性の限界とデータバイアスの存在により、ユニークな課題を生んでいる。 利用可能なデータの有用性を最大化し、データバイアスを減らすために、segment anything model(sam)を利用して臓器、異常、骨などをセグメント化し、画像の有意義なroisに注意を払い、より良い視覚的表現を得るためのフレームワークであるmscl(medical image segmentation with contrastive learning)を提案する。 次に,訓練中に目標と意味的に類似したレポートに重みを割り当てる教師付きコントラスト損失を導入する。 この損失関数の設計は、データバイアスの影響を緩和し、医療画像の本質的な特徴を捉え、高品質なレポートを生成するようモデルに促すことを目的としている。 実験の結果,提案モデルの有効性が実証され,iu x線公開データセットで最新性能が得られた。

関連論文リスト

• Resource-Efficient Medical Report Generation using Large Language Models [3.2627279988912194]
  医療報告生成は胸部X線画像の放射線診断レポートを自動作成する作業である。 本稿では,医療報告生成のタスクに視覚対応大規模言語モデル(LLM)を活用する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-21T05:08:18Z)
• TRRG: Towards Truthful Radiology Report Generation With Cross-modal Disease Clue Enhanced Large Language Model [22.305034251561835]
  そこで我々は,大規模言語モデルへのクロスモーダル病ヒントインジェクションの段階的訓練に基づく,真正な放射線学レポート生成フレームワークTRRGを提案する。 提案フレームワークは,IU-XrayやMIMIC-CXRなどのデータセットを用いた放射線学レポート生成において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-08-22T05:52:27Z)
• Radiology Report Generation Using Transformers Conditioned with Non-imaging Data [55.17268696112258]
  本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。 提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
  論文  参考訳（メタデータ） (2023-11-18T14:52:26Z)
• Beyond Images: An Integrative Multi-modal Approach to Chest X-Ray Report Generation [47.250147322130545]
  画像からテキストまでの放射線学レポート生成は,医療画像の発見を記述した放射線学レポートを自動生成することを目的としている。 既存の方法の多くは画像データのみに焦点をあてており、他の患者情報は放射線科医に公開されていない。 胸部X線レポートを生成するための多モードディープニューラルネットワークフレームワークを,非構造的臨床ノートとともにバイタルサインや症状などの構造化された患者データを統合することで提案する。
  論文  参考訳（メタデータ） (2023-11-18T14:37:53Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report Generation [92.73584302508907]
  コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。 詳しくは、グラフの基本構造は一般知識から事前構築される。 各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
  論文  参考訳（メタデータ） (2023-03-18T03:53:43Z)
• Cross-Modal Causal Intervention for Medical Report Generation [109.83549148448469]
  医療報告生成(MRG)は、コンピュータ支援診断と治療指導に不可欠である。 視覚的および言語的バイアスによって引き起こされる画像テキストデータ内の素早い相関のため、病変領域を確実に記述した正確なレポートを生成することは困難である。 本稿では,視覚分解モジュール (VDM) と言語分解モジュール (LDM) からなるMRGのための新しい視覚言語因果干渉 (VLCI) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-16T07:23:55Z)
• Cross-modal Memory Networks for Radiology Report Generation [30.13916304931662]
  ラジオロジーレポート生成のためのエンコーダデコーダフレームワークを強化するために,クロスモーダルメモリネットワーク(CMN)を提案する。 本モデルでは,放射線画像やテキストからの情報の整合性が向上し,臨床指標の精度向上に寄与する。
  論文  参考訳（メタデータ） (2022-04-28T02:32:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。