論文の概要: USCL: Pretraining Deep Ultrasound Image Diagnosis Model through Video Contrastive Representation Learning

• arxiv url: http://arxiv.org/abs/2011.13066v2
• Date: Thu, 2 Sep 2021 09:56:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 01:54:02.593453
• Title: USCL: Pretraining Deep Ultrasound Image Diagnosis Model through Video Contrastive Representation Learning
• Title（参考訳）: USCL:ビデオコントラスト表現学習による深部超音波画像診断モデルの構築
• Authors: Yixiong Chen, Chunhui Zhang, Li Liu, Cheng Feng, Changfeng Dong, Yongfang Luo, Xiang Wan
• Abstract要約: ほとんどのディープニューラルネットワーク(DNN)ベースの超音波(US)医療画像解析モデルでは、事前訓練されたバックボーン(例えば、ImageNet)をモデル一般化に利用している。 この問題を緩和するため、US-4という名前の米国データセットが、同じドメイン上で直接事前トレーニングするために構築されている。 プレトレーニングのための,米国における半教師付きコントラスト学習手法USCLを提案する。 特に、USCL事前トレーニングされたバックボーンは、ImageNet事前トレーニングされたモデルの84%よりも10%高いPOCUSデータセットで94%以上の微調整精度を達成する。
• 参考スコア（独自算出の注目度）: 14.856682129197859
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most deep neural networks (DNNs) based ultrasound (US) medical image analysis models use pretrained backbones (e.g., ImageNet) for better model generalization. However, the domain gap between natural and medical images causes an inevitable performance bottleneck. To alleviate this problem, an US dataset named US-4 is constructed for direct pretraining on the same domain. It contains over 23,000 images from four US video sub-datasets. To learn robust features from US-4, we propose an US semi-supervised contrastive learning method, named USCL, for pretraining. In order to avoid high similarities between negative pairs as well as mine abundant visual features from limited US videos, USCL adopts a sample pair generation method to enrich the feature involved in a single step of contrastive optimization. Extensive experiments on several downstream tasks show the superiority of USCL pretraining against ImageNet pretraining and other state-of-the-art (SOTA) pretraining approaches. In particular, USCL pretrained backbone achieves fine-tuning accuracy of over 94% on POCUS dataset, which is 10% higher than 84% of the ImageNet pretrained model. The source codes of this work are available at https://github.com/983632847/USCL.
• Abstract（参考訳）: ほとんどの深層ニューラルネットワーク(dnn)ベースの超音波(us)医療画像解析モデルは、モデル一般化のために事前訓練されたバックボーン(例えばimagenet)を使用する。 しかし、自然画像と医療画像のドメイン間ギャップは避けられないパフォーマンスボトルネックを引き起こします。 この問題を緩和するため、US-4という名前の米国データセットが、同じドメイン上で直接事前トレーニングするために構築されている。 4つの米国のビデオサブデータセットから23,000枚以上の画像が含まれている。 US-4 から頑健な特徴を学習するために,USCL という半教師付きコントラスト学習手法を提案する。 負のペア間の高い類似性を回避するため,USCLでは,コントラスト最適化の単一ステップにおける機能強化のために,サンプルペア生成法を採用している。 いくつかの下流タスクに対する大規模な実験は、ImageNet事前トレーニングや他のSOTA事前トレーニングアプローチに対するUSCL事前トレーニングの優位性を示している。 特に、USCL事前トレーニングバックボーンは、ImageNet事前トレーニングモデルの84%よりも10%高いPOCUSデータセットで94%以上の微調整精度を達成する。 この作業のソースコードはhttps://github.com/983632847/usclで入手できる。

関連論文リスト

• Leveraging Self-Supervised Learning for Fetal Cardiac Planes Classification using Ultrasound Scan Videos [4.160910038127896]
  自己教師付き学習(SSL)メソッドは、限られた注釈付きデータで状況に対処できるので人気がある。 本研究では, 再構成, コントラスト損失, 蒸留, 情報理論に基づく7つのSSL手法について検討し, 大規模な米国データセット上で広く評価する。 我々の第一の観察は、SSLトレーニングでは、データセットの分散がサイズよりも重要であることを示している。
  論文  参考訳（メタデータ） (2024-07-31T16:47:21Z)
• MoVL:Exploring Fusion Strategies for the Domain-Adaptive Application of Pretrained Models in Medical Imaging Tasks [6.8948885302235325]
  本稿では,入力医療画像と自然事前学習型視覚モデルとのギャップを埋めるために視覚刺激(VP)を導入する。 本稿では,分類損失と差分損失を含む共同学習損失関数を設計し,インパルス画像とプレーン画像のばらつきを記述した。 分布医学データセットの内訳では,本手法(90.33%)はFF(85.15%)を5.18%リードで上回りうる。
  論文  参考訳（メタデータ） (2024-05-13T01:18:25Z)
• Intra-video Positive Pairs in Self-Supervised Learning for Ultrasound [65.23740556896654]
  自己教師付き学習 (SSL) は, 医療画像におけるラベル付きデータの健全性に対処するための戦略である。 本研究では,同じBモード超音波映像をSSLのペアとして用いた近位画像の利用効果について検討した。 この手法は、従来の超音波特異的比較学習法の平均検査精度を新型コロナウイルスの分類で上回り、IVPP(Intra-Video Positive Pairs)と命名された。
  論文  参考訳（メタデータ） (2024-03-12T14:57:57Z)
• Raising the Bar of AI-generated Image Detection with CLIP [50.345365081177555]
  本研究の目的は、AI生成画像の普遍的検出のための事前学習された視覚言語モデル(VLM)の可能性を探ることである。 我々は,CLIP機能に基づく軽量な検出戦略を開発し,その性能を様々な難易度シナリオで検証する。
  論文  参考訳（メタデータ） (2023-11-30T21:11:20Z)
• ALIP: Adaptive Language-Image Pre-training with Synthetic Caption [78.93535202851278]
  コントラスト言語-画像事前学習(CLIP)は、様々な視覚言語タスクのパフォーマンスを大幅に向上させた。 Webデータに固有のノイズと未整合画像テキストペアが存在することは、表現学習のパフォーマンスに影響を与える可能性がある。 本稿では、原文と合成キャプションの両方からの監督を統合するバイパスモデルであるAdaptive Language-Image Pre-Training(ALIP)を提案する。
  論文  参考訳（メタデータ） (2023-08-16T15:19:52Z)
• UniBoost: Unsupervised Unimodal Pre-training for Boosting Zero-shot Vision-Language Tasks [60.46473247205654]
  大規模で教師なしのユニモーダルモデルを事前学習として使用することにより、画像テキストペアモデルのゼロショット性能を向上させることができる。 実験の結果,単調な事前学習は最先端のCLIPモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-06-07T18:26:22Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Co-training $2^L$ Submodels for Visual Recognition [67.02999567435626]
  サブモデルコトレーニングは、コトレーニング、自己蒸留、深さに関連する正規化手法である。 サブモデルのコトレーニングは,画像分類やセマンティックセグメンテーションなどの認識タスクのためのバックボーンのトレーニングに有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-09T14:38:09Z)
• Generating and Weighting Semantically Consistent Sample Pairs for Ultrasound Contrastive Learning [10.631361618707214]
  よく注釈付けされた医療データセットにより、ディープニューラルネットワーク(DNN)は、病変に関連する特徴を抽出する上で強力なパワーを得ることができる。 ImageNetに基づくモデル事前トレーニングは、データ量に制限がある場合に、より良い一般化を得るための一般的なプラクティスである。 本研究では,医療用USアプリケーションの領域ギャップを低減するために,ImageNetの代わりに超音波(US)ドメインを事前訓練する。
  論文  参考訳（メタデータ） (2022-12-08T06:24:08Z)
• Comparing to Learn: Surpassing ImageNet Pretraining on Radiographs By Comparing Image Representations [39.08296644280442]
  そこで本研究では,手動のアノテーションを使わずに700kのラジオグラフから学習する事前学習手法を提案する。 画像表現を比較して頑健な特徴を学習するため,本手法をC2L(Comparing to Learn)と呼ぶ。 実験結果から,C2L は ImageNet の事前学習と過去の最先端アプローチを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2020-07-15T01:14:34Z)
• Tackling the Problem of Limited Data and Annotations in Semantic Segmentation [1.0152838128195467]
  画像セグメンテーションにおける限られたデータアノテーションの問題に対処するために、異なる事前訓練されたモデルとCRFベースの手法を適用した。 この目的のために、RotNet、DeeperCluster、Semi&Weakly Supervised Learning (SWSL)が事前訓練されたモデルをDeepLab-v2ベースラインで転送、微調整する。 その結果、この小さなデータセットでは、事前トレーニングされたResNet50 SWSLモデルを使用することで、ImageNet事前トレーニングされたモデルよりも7.4%良い結果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T21:11:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。