論文の概要: Representative Image Feature Extraction via Contrastive Learning
Pretraining for Chest X-ray Report Generation
- arxiv url: http://arxiv.org/abs/2209.01604v1
- Date: Sun, 4 Sep 2022 12:07:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-07 12:55:56.424962
- Title: Representative Image Feature Extraction via Contrastive Learning
Pretraining for Chest X-ray Report Generation
- Title(参考訳): 胸部x線レポート生成のためのコントラスト学習前訓練による代表画像特徴抽出
- Authors: Yu-Jen Chen, Wei-Hsiang Shen, Hao-Wei Chung, Jing-Hao Chiu, Da-Cheng
Juan, Tsung-Ying Ho, Chi-Tung Cheng, Meng-Lin Li, Tsung-Yi Ho
- Abstract要約: 医療報告生成の目標は、画像の発見を正確に把握し、記述することである。
以前の作業では、さまざまなドメインで大規模なデータセットを使用して、視覚的エンコーディングニューラルネットワークを事前トレーニングしていた。
本稿では,視覚的エンコーダの事前学習に対照的な学習手法を用い,メタ情報を必要としないフレームワークを提案する。
- 参考スコア(独自算出の注目度): 19.69560434388278
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Medical report generation is a challenging task since it is time-consuming
and requires expertise from experienced radiologists. The goal of medical
report generation is to accurately capture and describe the image findings.
Previous works pretrain their visual encoding neural networks with large
datasets in different domains, which cannot learn general visual representation
in the specific medical domain. In this work, we propose a medical report
generation framework that uses a contrastive learning approach to pretrain the
visual encoder and requires no additional meta information. In addition, we
adopt lung segmentation as an augmentation method in the contrastive learning
framework. This segmentation guides the network to focus on encoding the visual
feature within the lung region. Experimental results show that the proposed
framework improves the performance and the quality of the generated medical
reports both quantitatively and qualitatively.
- Abstract(参考訳): 医療報告の生成は、時間がかかり、経験豊富な放射線技師の専門知識を必要とするため、難しい課題である。
医療レポート生成の目標は、画像所見を正確に捉えて記述することである。
以前の研究では、異なるドメインの巨大なデータセットを持つニューラルネットワークのビジュアルエンコーディングを事前トレーニングしており、特定の医療領域で一般的な視覚的表現を学べない。
本研究では,視覚エンコーダの事前学習にコントラスト学習手法を用い,追加のメタ情報を必要としない医用レポート生成フレームワークを提案する。
また, コントラスト学習の枠組みでは, 肺分節を増補法として採用する。
このセグメンテーションは、ネットワークが肺領域の視覚特徴のエンコーディングに集中するように導く。
実験結果から,提案手法は医療報告の性能と質を定量的かつ質的に改善することが示された。
関連論文リスト
- MLIP: Enhancing Medical Visual Representation with Divergence Encoder
and Knowledge-guided Contrastive Learning [48.97640824497327]
本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。
我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。
特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
論文 参考訳(メタデータ) (2024-02-03T05:48:50Z) - Explanations of Classifiers Enhance Medical Image Segmentation via
End-to-end Pre-training [37.11542605885003]
医用画像セグメンテーションは、ディープニューラルネットワークを用いて、胸部X線写真などの医用画像の異常な構造を特定し、発見することを目的としている。
我々の研究は、よく訓練された分類器から説明を集め、セグメンテーションタスクの擬似ラベルを生成する。
次に、インテグレート・グラディエント(IG)法を用いて、分類器から得られた説明を蒸留し、強化し、大規模診断指向のローカライゼーション・ラベル(DoLL)を生成する。
これらのDLLアノテーション付き画像は、新型コロナウイルス感染症、肺、心臓、鎖骨などの下流のセグメンテーションタスクのために、モデルを微調整する前に事前訓練するために使用される。
論文 参考訳(メタデータ) (2024-01-16T16:18:42Z) - Medical Report Generation based on Segment-Enhanced Contrastive
Representation Learning [39.17345313432545]
臓器, 異常, 骨等を分類するためのMSCL(医学画像とコントラスト学習)を提案する。
トレーニング中にターゲットとセマンティックに類似したレポートにより多くの重みを割り当てる教師付きコントラスト損失を導入する。
実験の結果,提案手法の有効性が示され,IU X線公開データセット上での最先端性能が得られた。
論文 参考訳(メタデータ) (2023-12-26T03:33:48Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳(メタデータ) (2023-11-18T14:52:26Z) - Beyond Images: An Integrative Multi-modal Approach to Chest X-Ray Report
Generation [47.250147322130545]
画像からテキストまでの放射線学レポート生成は,医療画像の発見を記述した放射線学レポートを自動生成することを目的としている。
既存の方法の多くは画像データのみに焦点をあてており、他の患者情報は放射線科医に公開されていない。
胸部X線レポートを生成するための多モードディープニューラルネットワークフレームワークを,非構造的臨床ノートとともにバイタルサインや症状などの構造化された患者データを統合することで提案する。
論文 参考訳(メタデータ) (2023-11-18T14:37:53Z) - KiUT: Knowledge-injected U-Transformer for Radiology Report Generation [10.139767157037829]
X線画像から臨床的正確で一貫性のある段落を自動的に生成することを目的とする。
知識注入型U-Transformer (KiUT) を提案する。
論文 参考訳(メタデータ) (2023-06-20T07:27:28Z) - Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report
Generation [92.73584302508907]
コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。
詳しくは、グラフの基本構造は一般知識から事前構築される。
各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
論文 参考訳(メタデータ) (2023-03-18T03:53:43Z) - RadTex: Learning Efficient Radiograph Representations from Text Reports [7.090896766922791]
我々は,放射線学報告を利用して,限られたラベル付きデータを用いた医用画像分類性能を向上させるための,データ効率のよい学習フレームワークを構築した。
本モデルは,ラベル付きトレーニングデータに制限がある場合,ImageNetによる事前学習よりも高い分類性能を実現する。
論文 参考訳(メタデータ) (2022-08-05T15:06:26Z) - Cross-modal Memory Networks for Radiology Report Generation [30.13916304931662]
ラジオロジーレポート生成のためのエンコーダデコーダフレームワークを強化するために,クロスモーダルメモリネットワーク(CMN)を提案する。
本モデルでは,放射線画像やテキストからの情報の整合性が向上し,臨床指標の精度向上に寄与する。
論文 参考訳(メタデータ) (2022-04-28T02:32:53Z) - Cascaded Robust Learning at Imperfect Labels for Chest X-ray
Segmentation [61.09321488002978]
不完全アノテーションを用いた胸部X線分割のための新しいカスケードロバスト学習フレームワークを提案する。
モデルは3つの独立したネットワークから成り,ピアネットワークから有用な情報を効果的に学習できる。
提案手法は,従来の手法と比較して,セグメント化タスクの精度を大幅に向上させることができる。
論文 参考訳(メタデータ) (2021-04-05T15:50:16Z) - Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report
Generation [107.3538598876467]
放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。
ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
論文 参考訳(メタデータ) (2020-06-06T01:00:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。