論文の概要: Pre-text Representation Transfer for Deep Learning with Limited Imbalanced Data : Application to CT-based COVID-19 Detection

• arxiv url: http://arxiv.org/abs/2301.08888v1
• Date: Sat, 21 Jan 2023 04:47:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-24 16:00:12.087517
• Title: Pre-text Representation Transfer for Deep Learning with Limited Imbalanced Data : Application to CT-based COVID-19 Detection
• Title（参考訳）: 限られた不均衡データを用いた深層学習のためのプレテキスト表現伝達 : CTによるCOVID-19検出への応用
• Authors: Fouzia Altaf, Syed M. S. Islam, Naeem K. Janjua, Naveed Akhtar
• Abstract要約: 我々は、PRT(Pre-text Representation Transfer)という新しい概念を提案する。 PRTは元の分類層を保持し、教師なしのプレテキストタスクを通じて表現層を更新する。 提案手法により,従来の移動学習よりも一貫した効果が得られた。
• 参考スコア（独自算出の注目度）: 18.72489078928417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Annotating medical images for disease detection is often tedious and expensive. Moreover, the available training samples for a given task are generally scarce and imbalanced. These conditions are not conducive for learning effective deep neural models. Hence, it is common to 'transfer' neural networks trained on natural images to the medical image domain. However, this paradigm lacks in performance due to the large domain gap between the natural and medical image data. To address that, we propose a novel concept of Pre-text Representation Transfer (PRT). In contrast to the conventional transfer learning, which fine-tunes a source model after replacing its classification layers, PRT retains the original classification layers and updates the representation layers through an unsupervised pre-text task. The task is performed with (original, not synthetic) medical images, without utilizing any annotations. This enables representation transfer with a large amount of training data. This high-fidelity representation transfer allows us to use the resulting model as a more effective feature extractor. Moreover, we can also subsequently perform the traditional transfer learning with this model. We devise a collaborative representation based classification layer for the case when we leverage the model as a feature extractor. We fuse the output of this layer with the predictions of a model induced with the traditional transfer learning performed over our pre-text transferred model. The utility of our technique for limited and imbalanced data classification problem is demonstrated with an extensive five-fold evaluation for three large-scale models, tested for five different class-imbalance ratios for CT based COVID-19 detection. Our results show a consistent gain over the conventional transfer learning with the proposed method.
• Abstract（参考訳）: 病気検出のための医用画像の注釈は、しばしば退屈で高価である。 さらに、与えられたタスクの利用可能なトレーニングサンプルは、一般的に不足し、不均衡である。 これらの条件は、効果的な深層神経モデルの学習には役に立たない。 したがって、自然画像で訓練されたニューラルネットワークを医用画像領域に「移す」のが一般的である。 しかし、このパラダイムは、自然画像データと医療画像データの間のドメイン間ギャップが大きいため、パフォーマンスに欠ける。 そこで本研究では,PRT(Pre-text Representation Transfer)の概念を提案する。 分類層を置換した後にソースモデルを微調整する従来の転送学習とは対照的に、prtは元の分類層を保持し、教師なしの事前テキストタスクを通じて表現層を更新する。 このタスクは、アノテーションを使わずに(本来は合成ではなく)医療画像で実行される。 これにより、大量のトレーニングデータによる表現転送が可能になる。 この高忠実度表現変換により、得られたモデルをより効率的な特徴抽出器として利用できる。 さらに,このモデルを用いて従来の移動学習も行うことができる。 我々は,モデルを特徴抽出器として活用する場合に,協調表現に基づく分類層を考案する。 我々は、このレイヤの出力を、従来の転送学習によって誘導されるモデルの予測と融合する。 本手法の限界・不均衡データ分類問題に対する有効性は,3種類の大規模モデルに対して5倍の精度で評価され,5種類のクラス不均衡比で検査された。 提案手法により従来の移動学習よりも一貫した効果が得られた。

関連論文リスト

• Pick the Best Pre-trained Model: Towards Transferability Estimation for Medical Image Segmentation [20.03177073703528]
  転送学習は、難しい医用画像分割タスクのために、ディープニューラルネットワークをトレーニングする上で重要なテクニックである。 医用画像セグメンテーションのための新しい転送可能性推定法を提案する。 医用画像のセグメンテーションにおける転送可能性推定のアルゴリズムを網羅した手法を提案する。
  論文  参考訳（メタデータ） (2023-07-22T01:58:18Z)
• Performance of GAN-based augmentation for deep learning COVID-19 image classification [57.1795052451257]
  ディープラーニングを医療分野に適用する上で最大の課題は、トレーニングデータの提供である。 データ拡張は、限られたデータセットに直面した時に機械学習で使用される典型的な方法論である。 本研究は, 新型コロナウイルスの胸部X線画像セットを限定して, StyleGAN2-ADAモデルを用いて訓練するものである。
  論文  参考訳（メタデータ） (2023-04-18T15:39:58Z)
• Unsupervised Domain Transfer with Conditional Invertible Neural Networks [83.90291882730925]
  条件付き可逆ニューラルネットワーク(cINN)に基づくドメイン転送手法を提案する。 提案手法は本質的に,その可逆的アーキテクチャによるサイクル一貫性を保証し,ネットワークトレーニングを最大限効率的に行うことができる。 提案手法は,2つの下流分類タスクにおいて,現実的なスペクトルデータの生成を可能にし,その性能を向上する。
  論文  参考訳（メタデータ） (2023-03-17T18:00:27Z)
• Revisiting Hidden Representations in Transfer Learning for Medical Imaging [2.4545492329339815]
  7つの医学分類課題について,ImageNetとRadImageNetを比較した。 その結果,ImageNetとRadImageNetは直感とは対照的に,異なる中間表現に収束する可能性が示唆された。 その結果, ネットワーク間の微調整前後の類似性は, 性能向上と相関しないことがわかった。
  論文  参考訳（メタデータ） (2023-02-16T13:04:59Z)
• PatchNR: Learning from Small Data by Patch Normalizing Flow Regularization [57.37911115888587]
  正規化フローに基づく画像の逆問題に対する変分モデリングのための正規化器を提案する。 patchNRと呼ばれる我々の正規化器は、ごく少数の画像のパッチで学習したフローを正規化します。
  論文  参考訳（メタデータ） (2022-05-24T12:14:26Z)
• A Multi-Stage Attentive Transfer Learning Framework for Improving COVID-19 Diagnosis [49.3704402041314]
  新型コロナの診断を改善するための多段階集中移動学習フレームワークを提案する。 提案するフレームワークは、複数のソースタスクと異なるドメインのデータから知識を学習し、正確な診断モデルを訓練する3つの段階からなる。 本稿では,肺CT画像のマルチスケール表現を学習するための自己教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2021-01-14T01:39:19Z)
• Classification of COVID-19 in CT Scans using Multi-Source Transfer Learning [91.3755431537592]
  我々は,従来のトランスファー学習の改良にマルチソース・トランスファー・ラーニングを応用して,CTスキャンによる新型コロナウイルスの分類を提案する。 マルチソースファインチューニングアプローチでは、ImageNetで微調整されたベースラインモデルよりも優れています。 我々の最高のパフォーマンスモデルは、0.893の精度と0.897のリコールスコアを達成でき、ベースラインのリコールスコアを9.3%上回った。
  論文  参考訳（メタデータ） (2020-09-22T11:53:06Z)
• Adversarially-Trained Deep Nets Transfer Better: Illustration on Image Classification [53.735029033681435]
  トランスファーラーニングは、訓練済みのディープニューラルネットワークを画像認識タスクに新しいドメインに適用するための強力な方法論である。 本研究では,非逆学習モデルよりも逆学習モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-11T22:48:42Z)
• Generalized Zero and Few-Shot Transfer for Facial Forgery Detection [3.8073142980733]
  フォージェリ検出の文脈でゼロおよび少数ショット転送の問題に対処する新しいトランスファー学習手法を提案する。 従来の分類や最先端のドメイン適応/ファウショット学習手法と比較して,この学習戦略は驚くほど効果的である。
  論文  参考訳（メタデータ） (2020-06-21T18:10:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。