論文の概要: CXPMRG-Bench: Pre-training and Benchmarking for X-ray Medical Report Generation on CheXpert Plus Dataset
- arxiv url: http://arxiv.org/abs/2410.00379v1
- Date: Tue, 1 Oct 2024 04:07:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-05 05:56:31.283515
- Title: CXPMRG-Bench: Pre-training and Benchmarking for X-ray Medical Report Generation on CheXpert Plus Dataset
- Title（参考訳）: CXPMRG-Bench: CheXpert Plusデータセットを用いたX線医療レポート作成のための事前トレーニングとベンチマーク
- Authors: Xiao Wang, Fuling Wang, Yuehang Li, Qingchuan Ma, Shiao Wang, Bo Jiang, Chuanfu Li, Jin Tang,
- Abstract要約: X線画像に基づく医療報告生成は、診断上の負担と患者待ち時間を著しく削減することができる。
我々は、CheXpert Plusデータセット上で、既存の主流X線レポート生成モデルと大規模言語モデル(LLM)の包括的なベンチマークを行う。
自己教師付き自己回帰生成やX線レポートによるコントラスト学習を含む,多段階事前学習戦略を用いたX線画像生成のための大規模モデルを提案する。
- 参考スコア（独自算出の注目度）: 14.911363203907008
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: X-ray image-based medical report generation (MRG) is a pivotal area in artificial intelligence which can significantly reduce diagnostic burdens and patient wait times. Despite significant progress, we believe that the task has reached a bottleneck due to the limited benchmark datasets and the existing large models' insufficient capability enhancements in this specialized domain. Specifically, the recently released CheXpert Plus dataset lacks comparative evaluation algorithms and their results, providing only the dataset itself. This situation makes the training, evaluation, and comparison of subsequent algorithms challenging. Thus, we conduct a comprehensive benchmarking of existing mainstream X-ray report generation models and large language models (LLMs), on the CheXpert Plus dataset. We believe that the proposed benchmark can provide a solid comparative basis for subsequent algorithms and serve as a guide for researchers to quickly grasp the state-of-the-art models in this field. More importantly, we propose a large model for the X-ray image report generation using a multi-stage pre-training strategy, including self-supervised autoregressive generation and Xray-report contrastive learning, and supervised fine-tuning. Extensive experimental results indicate that the autoregressive pre-training based on Mamba effectively encodes X-ray images, and the image-text contrastive pre-training further aligns the feature spaces, achieving better experimental results. Source code can be found on \url{https://github.com/Event-AHU/Medical_Image_Analysis}.
- Abstract（参考訳）: X線画像に基づく医療報告生成(MRG)は、人工知能において重要な領域であり、診断の負担と患者待ち時間を著しく削減することができる。
大幅な進歩にもかかわらず、このタスクは、限られたベンチマークデータセットと、既存の大規模モデルのこの専門分野における機能強化が不十分なため、ボトルネックに到達したと信じている。
具体的には、最近リリースされたCheXpert Plusデータセットには、比較評価アルゴリズムとその結果がなく、データセット自体のみを提供する。
この状況は、その後のアルゴリズムのトレーニング、評価、比較を困難にしている。
そこで我々は,CheXpert Plusデータセット上で,既存の主流X線レポート生成モデルと大規模言語モデル(LLM)の包括的なベンチマークを行う。
提案したベンチマークは、その後のアルゴリズムの確固たる比較基盤を提供し、研究者がこの分野の最先端モデルを簡単に把握するためのガイドとなると信じている。
さらに, 自己教師付き自己回帰生成やX線レポートによるコントラスト学習, 教師付き微調整を含む, 多段階事前学習戦略を用いたX線画像生成のための大規模モデルを提案する。
Mambaに基づく自己回帰事前学習はX線画像を効果的に符号化し、画像テキストコントラスト事前学習はさらに特徴空間を整列させ、より良い実験結果を得ることを示す。
ソースコードは \url{https://github.com/Event-AHU/Medical_Image_Analysis} で見ることができる。
関連論文リスト
- R2GenCSR: Retrieving Context Samples for Large Language Model based X-ray Medical Report Generation [7.4871243017824165]
本稿では,新しいコンテキスト誘導型効率的なX線医療報告生成フレームワークを提案する。
具体的には、線形複雑度を持つ視覚バックボーンとしてMambaを導入し、得られた性能は強力なTransformerモデルに匹敵する。
論文 参考訳（メタデータ） (2024-08-19T07:15:11Z) - Pre-training on High Definition X-ray Images: An Experimental Study [19.46094537296955]
大規模データセット上で,X線を用いた事前学習基礎ビジョンモデルとして,最初の高精細(1280$times$1280)を提案する。
我々のモデルはマスク処理後にトークンを(高いレートで)入力として利用するマスク付きオートエンコーダフレームワークに従っている。
我々は,X線レポート生成と疾患認識を含む2つの下流課題に対するモデルの有効性を検証した。
論文 参考訳（メタデータ） (2024-04-27T14:29:53Z) - How Can We Tame the Long-Tail of Chest X-ray Datasets? [0.0]
胸部X線(英: Chest X-rays、CXR)は、多数の異常を推測するために用いられる医療画像のモダリティである。
非常に一般的に観測されており、CXRデータセットで十分に表現されているものはほとんどない。
現在のモデルでは、稀ではあるが高い意味を持つラベルの独立した差別的特徴を学習することは困難である。
論文 参考訳（メタデータ） (2023-09-08T12:28:40Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳（メタデータ） (2023-03-30T18:20:00Z) - Contrastive Attention for Automatic Chest X-ray Report Generation [124.60087367316531]
ほとんどの場合、正常領域が胸部X線像全体を支配し、これらの正常領域の対応する記述が最終報告を支配している。
本稿では,現在の入力画像と通常の画像を比較してコントラスト情報を抽出するContrastive Attention(CA)モデルを提案する。
2つの公開データセットで最先端の結果を得る。
論文 参考訳（メタデータ） (2021-06-13T11:20:31Z) - Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for
Thoracic Disease Identification [83.6017225363714]
ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。
胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。
本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
論文 参考訳（メタデータ） (2021-02-26T02:29:30Z) - Learning Invariant Feature Representation to Improve Generalization
across Chest X-ray Datasets [55.06983249986729]
我々は、トレーニングデータと同じデータセットでテストすると、ディープラーニングモデルが、異なるソースからデータセットでテストされると、パフォーマンスが低下し始めることを示す。
対戦型トレーニング戦略を用いることで、ネットワークはソース不変表現を学習せざるを得ないことを示す。
論文 参考訳（メタデータ） (2020-08-04T07:41:15Z) - BS-Net: learning COVID-19 pneumonia severity on a large Chest X-Ray
dataset [6.5800499500032705]
我々は、Chest X-rays画像(CXR)に基づいて、新型コロナウイルス患者の肺妥協の度合いを判定するエンド・ツー・エンドのディープラーニングアーキテクチャを設計する。
当院で収集した約5,000個のCXR注釈画像の臨床的データセットを利用して検討した。
私たちのソリューションは、評価精度と一貫性において、一人のアノテータよりも優れています。
論文 参考訳（メタデータ） (2020-06-08T13:55:58Z) - Deep Mining External Imperfect Data for Chest X-ray Disease Screening [57.40329813850719]
我々は、外部のCXRデータセットを組み込むことで、不完全なトレーニングデータにつながると論じ、課題を提起する。
本研究は,多ラベル病分類問題を重み付き独立二分課題として分類する。
我々のフレームワークは、ドメインとラベルの相違を同時にモデル化し、対処し、優れた知識マイニング能力を実現する。
論文 参考訳（メタデータ） (2020-06-06T06:48:40Z) - Self-Training with Improved Regularization for Sample-Efficient Chest
X-Ray Classification [80.00316465793702]
挑戦的なシナリオで堅牢なモデリングを可能にするディープラーニングフレームワークを提案する。
その結果,85%のラベル付きデータを用いて,大規模データ設定で学習した分類器の性能に適合する予測モデルを構築することができた。
論文 参考訳（メタデータ） (2020-05-03T02:36:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。