論文の概要: MoCo-CXR: MoCo Pretraining Improves Representation and Transferability of Chest X-ray Models

• arxiv url: http://arxiv.org/abs/2010.05352v3
• Date: Mon, 17 May 2021 20:39:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 12:38:52.537635
• Title: MoCo-CXR: MoCo Pretraining Improves Representation and Transferability of Chest X-ray Models
• Title（参考訳）: MoCo-CXR:MoCoプレトレーニングによる胸部X線モデルの表現と伝達性の改善
• Authors: Hari Sowrirajan, Jingbo Yang, Andrew Y. Ng, Pranav Rajpurkar
• Abstract要約: MoCo-CXRは、MoCo(Momentum Contrast)のコントラスト学習法である。 胸部X線データセットやタスクに適用可能な表現性や伝達性を備えたモデルとして,MoCo-CXR-pretraining endowsを提案する。
• 参考スコア（独自算出の注目度）: 5.616479734129477
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning is a form of self-supervision that can leverage unlabeled data to produce pretrained models. While contrastive learning has demonstrated promising results on natural image classification tasks, its application to medical imaging tasks like chest X-ray interpretation has been limited. In this work, we propose MoCo-CXR, which is an adaptation of the contrastive learning method Momentum Contrast (MoCo), to produce models with better representations and initializations for the detection of pathologies in chest X-rays. In detecting pleural effusion, we find that linear models trained on MoCo-CXR-pretrained representations outperform those without MoCo-CXR-pretrained representations, indicating that MoCo-CXR-pretrained representations are of higher-quality. End-to-end fine-tuning experiments reveal that a model initialized via MoCo-CXR-pretraining outperforms its non-MoCo-CXR-pretrained counterpart. We find that MoCo-CXR-pretraining provides the most benefit with limited labeled training data. Finally, we demonstrate similar results on a target Tuberculosis dataset unseen during pretraining, indicating that MoCo-CXR-pretraining endows models with representations and transferability that can be applied across chest X-ray datasets and tasks.
• Abstract（参考訳）: コントラスト学習(Contrastive Learning)は、ラベルのないデータを利用して事前訓練されたモデルを生成する、自己超越の形式である。 コントラスト学習は自然画像分類課題において有望な結果を示しているが、胸部x線解釈のような医用画像処理への応用は限られている。 そこで本研究では, 胸部X線診断における表現性の向上と初期化のためのモデルを生成するために, コントラスト学習手法MoCoを適応したMoCo-CXRを提案する。 胸水の検出において,moco-cxr-pretrained representationsを用いた線形モデルがmoco-cxr-pretrained representationsなしのモデルよりも優れており,moco-cxr-pretrained representationsが高品質であることを示している。 エンドツーエンドの微調整実験により、MoCo-CXR-プレトレーニングによって初期化されたモデルが、MoCo-CXR-プレトレーニングされていないモデルよりも優れていることが明らかになった。 ラベル付きトレーニングデータでは,MoCo-CXR-pretrainingが最も有用であることがわかった。 最後に,本研究は,胸部X線データセットやタスクに適用可能な表現性および伝達性を備えたMoCo-CXR事前学習モデルを用いて,事前トレーニング中に見つからない対象結核データセットに類似した結果を示す。

関連論文リスト

• CXPMRG-Bench: Pre-training and Benchmarking for X-ray Medical Report Generation on CheXpert Plus Dataset [14.911363203907008]
  X線画像に基づく医療報告生成は、診断上の負担と患者待ち時間を著しく削減することができる。 我々は、CheXpert Plusデータセット上で、既存の主流X線レポート生成モデルと大規模言語モデル(LLM)の包括的なベンチマークを行う。 自己教師付き自己回帰生成やX線レポートによるコントラスト学習を含む,多段階事前学習戦略を用いたX線画像生成のための大規模モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-01T04:07:01Z)
• Advancing Text-Driven Chest X-Ray Generation with Policy-Based Reinforcement Learning [5.476136494434766]
  我々は、強化学習(RL)の可能性に動機付けられたフレームワークであるCXRLを提案する。 我々のフレームワークは、学習可能な適応条件埋め込み(ACE)と画像生成器を併用して最適化する。 我々のCXRLは、病理学的に現実的なCXRを生成し、CXRを生成するための新しい標準を確立する。
  論文  参考訳（メタデータ） (2024-03-11T08:43:57Z)
• DiCoM -- Diverse Concept Modeling towards Enhancing Generalizability in Chest X-Ray Studies [6.83819481805979]
  胸部X線(胸部X線、CXR)は、広く用いられている画像モダリティである。 自己指導型プレトレーニングは、多くの下流視覚タスクにおいて教師付きプレトレーニングよりも優れていることが証明されている。 本稿では,新しい自己教師型トレーニングパラダイムであるDiCoMについて紹介する。
  論文  参考訳（メタデータ） (2024-02-22T20:51:37Z)
• MUSCLE: Multi-task Self-supervised Continual Learning to Pre-train Deep Models for X-ray Images of Multiple Body Parts [63.30352394004674]
  MUSCLE(Multi-task Self-super-vised Continual Learning)は、医用画像処理タスクのための、新しい自己教師付き事前学習パイプラインである。 MUSCLEは、複数の身体部分から収集したX線を集約して表現学習を行い、よく設計された連続学習手順を採用する。 肺炎分類,骨格異常分類,肺セグメンテーション,結核(TB)検出など,9つの実世界のX線データセットを用いてMUSCLEを評価する。
  論文  参考訳（メタデータ） (2023-10-03T12:19:19Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• Longitudinal Data and a Semantic Similarity Reward for Chest X-Ray Report Generation [7.586632627817609]
  放射線学者は、解釈と報告を必要とする胸部X線(CXR)の量の増加のために、高いバーンアウト率に直面している。 提案するCXRレポートジェネレータは,ワークフローの要素を統合し,強化学習のための新たな報酬を導入する。 本研究の結果から, 提案モデルでは, 最新技術モデルよりも, 放射線学者の報告に適合した報告が生成されることがわかった。
  論文  参考訳（メタデータ） (2023-07-19T05:41:14Z)
• Advancing Radiograph Representation Learning with Masked Record Modeling [52.04899592688968]
  我々は2つの相補的な目的として自己と報告の補完を定式化し、マスク付きレコードモデリング(MRM)に基づく統一的な枠組みを提案する。 MRMは、知識強化されたセマンティック表現を学ぶためのマルチタスクスキームに従って、マスクされた画像パッチとマスクされたレポートトークンを再構築する。 具体的には、MRMはラベル効率の良い微調整において優れた性能を提供する。
  論文  参考訳（メタデータ） (2023-01-30T18:33:32Z)
• From Cloze to Comprehension: Retrofitting Pre-trained Masked Language Model to Pre-trained Machine Reader [130.45769668885487]
  Pre-trained Machine Reader (PMR) は、ラベル付きデータを取得することなく、MLMを事前学習機械読解(MRC)モデルに適合させる新しい手法である。 提案したPMRを構築するために,多量の汎用および高品質なMRCスタイルのトレーニングデータを構築した。 PMRは、MRCの定式化における様々な抽出および分類タスクに対処するための統一モデルとして機能する可能性がある。
  論文  参考訳（メタデータ） (2022-12-09T10:21:56Z)
• SPCXR: Self-supervised Pretraining using Chest X-rays Towards a Domain Specific Foundation Model [4.397622801930704]
  胸部X線(CXR)は肺疾患の診断と予後のための画像モダリティとして広く用いられている。 そこで我々は,グループメイドの自己教師型フレームワークを用いて,CXRからの一般的な表現を学習する,新たな自己教師型パラダイムを提案する。 事前訓練されたモデルは、コビッド19、肺炎の検出、一般的な健康スクリーニングといったドメイン固有のタスクのために微調整される。
  論文  参考訳（メタデータ） (2022-11-23T13:38:16Z)
• Improving Classification Model Performance on Chest X-Rays through Lung Segmentation [63.45024974079371]
  本稿では, セグメンテーションによる異常胸部X線(CXR)識別性能を向上させるための深層学習手法を提案する。 提案手法は,CXR画像中の肺領域を局所化するための深層ニューラルネットワーク(XLSor)と,大規模CXRデータセットで事前学習した自己教師あり運動量コントラスト(MoCo)モデルのバックボーンを用いたCXR分類モデルである。
  論文  参考訳（メタデータ） (2022-02-22T15:24:06Z)
• Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for Thoracic Disease Identification [83.6017225363714]
  ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。 胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。 本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T02:29:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。