論文の概要: Large-scale pretraining on pathological images for fine-tuning of small pathological benchmarks

• arxiv url: http://arxiv.org/abs/2303.15693v1
• Date: Tue, 28 Mar 2023 02:46:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 16:40:35.256937
• Title: Large-scale pretraining on pathological images for fine-tuning of small pathological benchmarks
• Title（参考訳）: 病理画像の大規模事前トレーニングによる小診断基準の微調整
• Authors: Masataka Kawai, Noriaki Ota, Shinsuke Yamaoka
• Abstract要約: 大きなデータセットが特殊化され、小さなデータセットと同じような分布を持つ場合、‘大規模から小規模’戦略は十分に検証されない。 我々は3つのヘマトキシリンとエオシン含有画像データセット、1つの大きな(PTCGA200)、2つの倍率調整された小さなデータセット(PCam200とsegPANDA200)をまとめた。 主要なディープラーニングモデルは、教師付きおよび自己教師型学習法で訓練され、腫瘍分類と組織分節ベンチマークのための小さなデータセットに基づいて微調整された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretraining a deep learning model on large image datasets is a standard step before fine-tuning the model on small targeted datasets. The large dataset is usually general images (e.g. imagenet2012) while the small dataset can be specialized datasets that have different distributions from the large dataset. However, this 'large-to-small' strategy is not well-validated when the large dataset is specialized and has a similar distribution to small datasets. We newly compiled three hematoxylin and eosin-stained image datasets, one large (PTCGA200) and two magnification-adjusted small datasets (PCam200 and segPANDA200). Major deep learning models were trained with supervised and self-supervised learning methods and fine-tuned on the small datasets for tumor classification and tissue segmentation benchmarks. ResNet50 pretrained with MoCov2, SimCLR, and BYOL on PTCGA200 was better than imagenet2012 pretraining when fine-tuned on PTCGA200 (accuracy of 83.94%, 86.41%, 84.91%, and 82.72%, respectively). ResNet50 pre-trained on PTCGA200 with MoCov2 exceeded the COCOtrain2017-pretrained baseline and was the best in ResNet50 for the tissue segmentation benchmark (mIoU of 63.53% and 63.22%). We found re-training imagenet-pretrained models (ResNet50, BiT-M-R50x1, and ViT-S/16) on PTCGA200 improved downstream benchmarks.
• Abstract（参考訳）: 大規模な画像データセット上でディープラーニングモデルを事前トレーニングすることは、小さなターゲットデータセット上でモデルを微調整する標準的なステップである。 大きなデータセットは通常一般的なイメージ(例: imagenet2012)であり、小さなデータセットは大きなデータセットとは異なる分布を持つ特殊なデータセットである。 しかし、この「大規模から小規模な」戦略は、大きなデータセットが特殊化され、小さなデータセットに類似した分布を持つ場合、十分に検証されない。 我々は新たに3つのヘマトキシリンとエオシンに安定な画像データセット,1つの大きなPTCGA200と2つの倍率調整された小さなデータセット(PCam200とsegPANDA200)をコンパイルした。 主要なディープラーニングモデルは、教師付きおよび自己教師付き学習法で訓練され、腫瘍分類および組織分割ベンチマークのための小さなデータセットを微調整した。 MoCov2、SimCLR、BYOLで事前訓練されたResNet50は、PTCGA200で微調整されたときのイメージネット2012より優れていた(それぞれ83.94%、86.41%、84.91%、82.72%)。 mocov2でptcga200で事前トレーニングされたresnet50は、cocotrain2017でトレーニングされたベースラインを上回り、resnet50では組織分割ベンチマーク(miouは63.53%と63.22%)で最高であった。 PTCGA200のダウンストリームベンチマークでは,イメージネット事前学習モデル (ResNet50, BiT-M-R50x1, ViT-S/16) が改良された。

関連論文リスト

• Effective pruning of web-scale datasets based on complexity of concept clusters [48.125618324485195]
  本稿では,大規模なマルチモーダルデータセットを抽出し,イメージネット上でCLIPスタイルのモデルを訓練する手法を提案する。 高品質なデータのより小さなセットでのトレーニングは、トレーニングコストを大幅に削減して、より高いパフォーマンスをもたらす可能性があることに気付きました。 我々は38の評価タスクにおいて、新しい最先端のImagehttps://info.arxiv.org/help/prep#commentsネットゼロショット精度と競合平均ゼロショット精度を実現する。
  論文  参考訳（メタデータ） (2024-01-09T14:32:24Z)
• Data Filtering Networks [67.827994353269]
  本研究では、大規模な未処理データセットをフィルタリングする第2ステップにおいて、データフィルタリングネットワーク(DFN)を学習する問題について検討する。 我々の重要な発見は、フィルタリングのためのネットワークの品質が下流タスクのパフォーマンスと異なることである。 我々の知見に基づいて、最先端の画像テキストデータセットを誘導する新しいデータフィルタリングネットワークを構築した。
  論文  参考訳（メタデータ） (2023-09-29T17:37:29Z)
• Dataset Quantization [72.61936019738076]
  大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。 DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
  論文  参考訳（メタデータ） (2023-08-21T07:24:29Z)
• Core Risk Minimization using Salient ImageNet [53.616101711801484]
  私たちは、1000のImagenetクラスのコアとスプリアス機能をローカライズする100万人以上のソフトマスクを備えたSalient Imagenetデータセットを紹介します。 このデータセットを用いて、まず、いくつかのImagenet事前訓練されたモデル(総計42件)の素早い特徴に対する依存度を評価する。 次に、コアリスク最小化(CoRM)と呼ばれる新しい学習パラダイムを導入する。
  論文  参考訳（メタデータ） (2022-03-28T01:53:34Z)
• BigDatasetGAN: Synthesizing ImageNet with Pixel-wise Annotations [89.42397034542189]
  我々は,GAN(Generative Adversarial Network)を介して,大規模ラベル付きデータセットを合成する。 我々は、ImageNetで訓練されたクラス条件生成モデルBigGANの画像サンプルを、すべての1kクラスに対して、クラス毎の5つのイメージを手動でアノテートする。 我々は、追加の8k実画像のセットをラベル付けして、新しいImageNetベンチマークを作成し、様々な設定でセグメンテーション性能を評価する。
  論文  参考訳（メタデータ） (2022-01-12T20:28:34Z)
• Are Large-scale Datasets Necessary for Self-Supervised Pre-training? [29.49873710927313]
  対象のタスクデータのみを活用する自己指導型事前学習シナリオについて検討する。 本研究は,BEiTなどのデノイングオートエンコーダが,事前学習データの種類やサイズに対してより堅牢であることを示す。 COCOでは、COCOイメージのみを使用して事前トレーニングを行う場合、検出とインスタンスセグメンテーションのパフォーマンスは、同等の設定で教師付きImageNet事前トレーニングを上回る。
  論文  参考訳（メタデータ） (2021-12-20T18:41:32Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Efficient deep learning models for land cover image classification [0.29748898344267777]
  土地利用土地被覆(LULC)画像分類のためのBigEarthNetデータセットを用いて実験を行った。 コンボリューションニューラルネットワーク、マルチ層パーセプトロン、ビジュアルトランスフォーマー、効率的なネットワーク、ワイド残留ネットワーク(WRN)など、さまざまな最先端モデルをベンチマークする。 提案する軽量モデルは、訓練可能なパラメータが桁違いに小さく、平均的なFスコア分類精度が19のLULCクラスすべてに対して4.5%向上し、ベースラインとして使用するResNet50の2倍高速に訓練される。
  論文  参考訳（メタデータ） (2021-11-18T00:03:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。