論文の概要: Self-Supervised Pretraining Improves Performance and Inference Efficiency in Multiple Lung Ultrasound Interpretation Tasks

• arxiv url: http://arxiv.org/abs/2309.02596v1
• Date: Tue, 5 Sep 2023 21:36:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 17:25:50.101670
• Title: Self-Supervised Pretraining Improves Performance and Inference Efficiency in Multiple Lung Ultrasound Interpretation Tasks
• Title（参考訳）: 自己教師付き事前訓練は複数肺超音波検査における性能と推論効率を向上させる
• Authors: Blake VanBerlo, Brian Li, Jesse Hoey, Alexander Wong
• Abstract要約: 肺超音波検査における複数分類課題に適用可能なニューラルネットワーク特徴抽出器を,自己指導型プレトレーニングで作成できるかどうかを検討した。 3つの肺超音波のタスクを微調整すると、事前訓練されたモデルにより、各テストセットの受信操作曲線(AUC)における平均クロスタスク面積は、それぞれ0.032と0.061に改善された。
• 参考スコア（独自算出の注目度）: 65.23740556896654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this study, we investigated whether self-supervised pretraining could produce a neural network feature extractor applicable to multiple classification tasks in B-mode lung ultrasound analysis. When fine-tuning on three lung ultrasound tasks, pretrained models resulted in an improvement of the average across-task area under the receiver operating curve (AUC) by 0.032 and 0.061 on local and external test sets respectively. Compact nonlinear classifiers trained on features outputted by a single pretrained model did not improve performance across all tasks; however, they did reduce inference time by 49% compared to serial execution of separate fine-tuned models. When training using 1% of the available labels, pretrained models consistently outperformed fully supervised models, with a maximum observed test AUC increase of 0.396 for the task of view classification. Overall, the results indicate that self-supervised pretraining is useful for producing initial weights for lung ultrasound classifiers.
• Abstract（参考訳）: 本研究では,Bモード肺超音波検査における複数の分類課題に適用可能なニューラルネットワーク特徴抽出器を,自己指導型プレトレーニングで作成できるかどうかを検討した。 3つの肺超音波のタスクを微調整すると、事前訓練されたモデルにより、各テストセットの受信操作曲線(AUC)における平均クロスタスク面積は、それぞれ0.032と0.061に改善された。 単一の事前学習モデルによって出力される特徴に基づいて訓練されたコンパクトな非線形分類器は、すべてのタスクで性能を改善することはなかったが、個別の微調整モデルの連続実行と比較して推論時間を49%削減した。 利用可能なラベルの1%を使用したトレーニングでは、事前訓練されたモデルが常に教師付きモデルよりも優れており、最大で観察されたaucは視角分類のタスクで0.396増加した。 以上の結果から,自己指導型プレトレーニングは,肺超音波分類器の初期体重の生成に有用であることが示唆された。

関連論文リスト

• Efficient Continual Pre-training by Mitigating the Stability Gap [68.49269649759005]
  本研究では,Large Language Models (LLM) の継続事前学習における挙動について検討する。 固定された計算予算内でのLLM性能を向上させるための3つの効果的な戦略を提案する。 当社の戦略は,OpenLlama-3Bモデルの平均医療タスク性能を36.2%から40.7%に改善し,当初のトレーニング予算の40%に過ぎなかった。
  論文  参考訳（メタデータ） (2024-06-21T02:28:37Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Pre-trained Model Guided Fine-Tuning for Zero-Shot Adversarial Robustness [52.9493817508055]
  我々は,モデルがゼロショットの逆方向のロバスト性を高めるために,事前訓練されたモデル誘導逆方向の微調整(PMG-AFT)を提案する。 私たちのアプローチは、平均8.72%のクリーンな精度を継続的に改善します。
  論文  参考訳（メタデータ） (2024-01-09T04:33:03Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Active Learning Guided Fine-Tuning for enhancing Self-Supervised Based Multi-Label Classification of Remote Sensing Images [0.0]
  自己教師付き事前学習と、ランダムに選択された小さなトレーニングセットの微調整を組み合わせることで、アノテーションの取り組みを最小限に抑えるための一般的なアプローチとなっている。 能動学習による自己指導型プレトレーニング(AL)の併用効果について検討する。 実験により,ランダムに構築した小型トレーニングセットを用いた微調整と比較して,AL誘導微調整の有効性が示された。
  論文  参考訳（メタデータ） (2023-06-12T07:26:21Z)
• Exploring the Utility of Self-Supervised Pretraining Strategies for the Detection of Absent Lung Sliding in M-Mode Lung Ultrasound [72.39040113126462]
  セルフ教師付きプレトレーニングは、医用画像における教師付き学習タスクのパフォーマンスを向上させるために観察されている。 本研究は,Mモード肺超音波画像における肺スライディング分類の下流タスクの微調整を指導する前,自己指導型プレトレーニングの有用性について検討した。
  論文  参考訳（メタデータ） (2023-04-05T20:01:59Z)
• Dataset Pruning: Reducing Training Data by Examining Generalization Influence [30.30255670341501]
  すべてのトレーニングデータは、モデルのパフォーマンスに寄与しますか? モデルのパフォーマンスを著しく犠牲にすることなく、プロキシトレーニングセットとして、トレーニングデータ全体から最小限のサブセットを構築するには、どうすればよいのか?
  論文  参考訳（メタデータ） (2022-05-19T05:36:35Z)
• How Transferable Are Self-supervised Features in Medical Image Classification Tasks? [0.7734726150561086]
  トランスファーラーニングは、医学分類タスクにおけるラベル付きデータの欠如を軽減するための標準的プラクティスとなっている。 自己教師付き事前訓練モデルでは、教師付きモデルよりもリッチな埋め込みが得られる。 Dynamic Visual Meta-Embedding (DVME)は、複数のモデルから事前学習された埋め込みを融合するエンドツーエンドのトランスファー学習アプローチである。
  論文  参考訳（メタデータ） (2021-08-23T10:39:31Z)
• An Evaluation of Self-Supervised Pre-Training for Skin-Lesion Analysis [14.466964262040136]
  自己指導型プレトレーニングは、トランスファーラーニングのための教師付きプレトレーニングの代替となる。 プリテキストタスクでアノテーションを合成することで、セルフスーパービジョンは、ターゲットタスクでそれらを微調整する前に、大量の擬似ラベルでモデルを事前訓練することができる。
  論文  参考訳（メタデータ） (2021-06-17T03:47:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。