論文の概要: How to Train Your CheXDragon: Training Chest X-Ray Models for Transfer to Novel Tasks and Healthcare Systems

• arxiv url: http://arxiv.org/abs/2305.08017v1
• Date: Sat, 13 May 2023 22:33:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 18:13:02.545897
• Title: How to Train Your CheXDragon: Training Chest X-Ray Models for Transfer to Novel Tasks and Healthcare Systems
• Title（参考訳）: CheXDragonのトレーニング方法:新しいタスクや医療システムへの移行のための胸部X線モデルのトレーニング
• Authors: Cara Van Uden and Jeremy Irvin and Mars Huang and Nathan Dean and Jason Carr and Andrew Ng and Curtis Langlotz
• Abstract要約: 自己教師付き学習(SSL)は、機械学習モデルのラベルの効率的なトレーニングを可能にする。 本研究では,様々な教師付き・自己監督型事前学習戦略を体系的に実験する。 マルチモーダルSSLは、新しい医療システムやタスクにおいて、非モーダルSSLよりもパフォーマンスが大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 0.118749525824656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) enables label efficient training for machine learning models. This is essential for domains such as medical imaging, where labels are costly and time-consuming to curate. However, the most effective supervised or SSL strategy for transferring models to different healthcare systems or novel tasks is not well understood. In this work, we systematically experiment with a variety of supervised and self-supervised pretraining strategies using multimodal datasets of medical images (chest X-rays) and text (radiology reports). We then evaluate their performance on data from two external institutions with diverse sets of tasks. In addition, we experiment with different transfer learning strategies to effectively adapt these pretrained models to new tasks and healthcare systems. Our empirical results suggest that multimodal SSL gives substantial gains over unimodal SSL in performance across new healthcare systems and tasks, comparable to models pretrained with full supervision. We demonstrate additional performance gains with models further adapted to the new dataset and task, using multimodal domain-adaptive pretraining (DAPT), linear probing then finetuning (LP-FT), and both methods combined. We offer suggestions for alternative models to use in scenarios where not all of these additions are feasible. Our results provide guidance for improving the generalization of medical image interpretation models to new healthcare systems and novel tasks.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、機械学習モデルのラベルの効率的なトレーニングを可能にする。 これは医療画像などの領域において必須であり、ラベルは費用がかかり、治すのに時間がかかります。 しかし、異なる医療システムや新しいタスクにモデルを転送するための最も効果的な教師付きまたはSSL戦略はよく理解されていない。 本研究では,医療画像(ケストX線)とテキスト(放射線学報告)のマルチモーダルデータセットを用いて,教師付きおよび自己指導型事前訓練戦略を体系的に実験した。 次に、様々なタスクセットを持つ2つの外部機関のデータによる性能評価を行う。 さらに,これらのモデルを新しいタスクや医療システムに効果的に適用するために,異なるトランスファー学習戦略を実験する。 我々の経験的結果は、マルチモーダルSSLは、新しい医療システムやタスクにおけるパフォーマンスにおいて、完全な監視で事前訓練されたモデルに匹敵する、一過性のSSLよりも大幅に向上していることを示唆している。 マルチモーダルドメイン適応型事前学習(DAPT)、線形探索(LP-FT)、および両手法の組み合わせにより、新しいデータセットとタスクにさらに適応したモデルによるさらなる性能向上を示す。 これらの追加がすべて実現可能でないシナリオで使用する代替モデルを提案する。 本研究は,新しい医療システムと新しい課題に対する医用画像解釈モデルの一般化に関するガイダンスを提供する。

関連論文リスト

• Can LLMs' Tuning Methods Work in Medical Multimodal Domain? [14.659849302397433]
  大言語モデル(LLM)は世界知識の理解に優れ、特定のサブフィールドに適応するには正確な調整が必要である。 LLM(Large Vision-Language Models)とLVLM(Large Vision-Language Models)の両方において,PEFT法が出現し,大きな成功を収めている。 転帰学習効率を高めるため,大規模モデルの微調整法を医療分野に移行することは可能か?
  論文  参考訳（メタデータ） (2024-03-11T03:38:48Z)
• Online Transfer Learning for RSV Case Detection [6.3076606245690385]
  本稿では,MSAW(Multi-Source Adaptive Weighting)について紹介する。 MSAWは動的重み付け機構をアンサンブルフレームワークに統合し、重みの自動調整を可能にする。 救急外来における呼吸性シンサイトールウイルスの検出にMSAWを応用し,その効果を実証した。
  論文  参考訳（メタデータ） (2024-02-03T02:13:08Z)
• MUSCLE: Multi-task Self-supervised Continual Learning to Pre-train Deep Models for X-ray Images of Multiple Body Parts [63.30352394004674]
  MUSCLE(Multi-task Self-super-vised Continual Learning)は、医用画像処理タスクのための、新しい自己教師付き事前学習パイプラインである。 MUSCLEは、複数の身体部分から収集したX線を集約して表現学習を行い、よく設計された連続学習手順を採用する。 肺炎分類,骨格異常分類,肺セグメンテーション,結核(TB)検出など,9つの実世界のX線データセットを用いてMUSCLEを評価する。
  論文  参考訳（メタデータ） (2023-10-03T12:19:19Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Understanding the Tricks of Deep Learning in Medical Image Segmentation: Challenges and Future Directions [66.40971096248946]
  本稿では,モデル実装の異なるフェーズに対して,MedISegの一連のトリックを収集する。 本稿では,これらの手法の有効性を一貫したベースライン上で実験的に検討する。 私たちはまた、それぞれのコンポーネントがプラグインとプレイの利点を持つ強力なMedISegリポジトリをオープンソースにしました。
  論文  参考訳（メタデータ） (2022-09-21T12:30:05Z)
• BERT WEAVER: Using WEight AVERaging to enable lifelong learning for transformer-based models in biomedical semantic search engines [49.75878234192369]
  We present WEAVER, a simple, yet efficient post-processing method that infuse old knowledge into the new model。 WEAVERを逐次的に適用すると、同じ単語の埋め込み分布が、一度にすべてのデータに対する総合的なトレーニングとして得られることを示す。
  論文  参考訳（メタデータ） (2022-02-21T10:34:41Z)
• A Multi-Stage Attentive Transfer Learning Framework for Improving COVID-19 Diagnosis [49.3704402041314]
  新型コロナの診断を改善するための多段階集中移動学習フレームワークを提案する。 提案するフレームワークは、複数のソースタスクと異なるドメインのデータから知識を学習し、正確な診断モデルを訓練する3つの段階からなる。 本稿では,肺CT画像のマルチスケール表現を学習するための自己教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2021-01-14T01:39:19Z)
• MultiMix: Sparingly Supervised, Extreme Multitask Learning From Medical Images [13.690075845927606]
  本稿では,病気の分類と解剖学的分類を軽視的に学習する新しいマルチタスク学習モデルであるMultiMixを提案する。 胸部X線画像からの肺炎の分類と肺の分画に対するマルチタスキングモデルの有効性について検討した。
  論文  参考訳（メタデータ） (2020-10-28T03:47:29Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。