論文の概要: A Comprehensive Study of Modern Architectures and Regularization Approaches on CheXpert5000

• arxiv url: http://arxiv.org/abs/2302.06684v1
• Date: Mon, 13 Feb 2023 20:51:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-15 17:15:45.675032
• Title: A Comprehensive Study of Modern Architectures and Regularization Approaches on CheXpert5000
• Title（参考訳）: CheXpert5000におけるモダンアーキテクチャと正規化アプローチの総合的研究
• Authors: Sontje Ihler, Felix Kuhnke, Svenja Spindeldreier
• Abstract要約: アノテーションを限定した医用画像分類法(5k)について検討する。 ImageNet21kで事前トレーニングされたモデルは、より高いAUCを実現し、より大きなモデルは、より少ないトレーニングステップを必要とする。 Vision Transformerは、Big Transfer Modelsと同等または同等の結果を得る。
• 参考スコア（独自算出の注目度）: 3.7384509727711923
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Computer aided diagnosis (CAD) has gained an increased amount of attention in the general research community over the last years as an example of a typical limited data application - with experiments on labeled 100k-200k datasets. Although these datasets are still small compared to natural image datasets like ImageNet1k, ImageNet21k and JFT, they are large for annotated medical datasets, where 1k-10k labeled samples are much more common. There is no baseline on which methods to build on in the low data regime. In this work we bridge this gap by providing an extensive study on medical image classification with limited annotations (5k). We present a study of modern architectures applied to a fixed low data regime of 5000 images on the CheXpert dataset. Conclusively we find that models pretrained on ImageNet21k achieve a higher AUC and larger models require less training steps. All models are quite well calibrated even though we only fine-tuned on 5000 training samples. All 'modern' architectures have higher AUC than ResNet50. Regularization of Big Transfer Models with MixUp or Mean Teacher improves calibration, MixUp also improves accuracy. Vision Transformer achieve comparable or on par results to Big Transfer Models.
• Abstract（参考訳）: コンピュータ支援診断(CAD)は、100k-200kデータセットをラベル付けした典型的な限定データアプリケーションの一例として、ここ数年、一般研究コミュニティで注目を集めてきた。 これらのデータセットは、ImageNet1k、ImageNet21k、JFTのような自然な画像データセットと比較してまだ小さいが、1k-10kラベルのサンプルがより一般的である注釈付き医療データセットには大きい。 ローデータレジームでどのメソッドを構築するべきかのベースラインはありません。 本研究では,限定的アノテーション(5k)による医用画像分類に関する広範な研究を通じて,このギャップを埋める。 我々は,chexpertデータセット上の5000画像の固定低データレジームに適用する近代的アーキテクチャの研究を行う。 ImageNet21kで事前訓練されたモデルはより高いAUCを実現し、より大きなモデルはより少ないトレーニングステップを必要とする。 すべてのモデルは、5000のトレーニングサンプルを微調整しただけで、かなりよく調整されています。 すべての'モダン'アーキテクチャはResNet50よりもAUCが高い。 MixUpまたはMean TeacherによるBig Transferモデルの正規化はキャリブレーションを改善し、MixUpは精度も向上する。 Vision TransformerはBig Transfer Modelsと同等または同等の結果を得る。

関連論文リスト

• Raising the Bar of AI-generated Image Detection with CLIP [50.345365081177555]
  本研究の目的は、AI生成画像の普遍的検出のための事前学習された視覚言語モデル(VLM)の可能性を探ることである。 我々は,CLIP機能に基づく軽量な検出戦略を開発し,その性能を様々な難易度シナリオで検証する。
  論文  参考訳（メタデータ） (2023-11-30T21:11:20Z)
• A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
  現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。 本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。 提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
  論文  参考訳（メタデータ） (2023-11-03T17:29:46Z)
• Dataset Quantization [72.61936019738076]
  大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。 DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
  論文  参考訳（メタデータ） (2023-08-21T07:24:29Z)
• HQ-50K: A Large-scale, High-quality Dataset for Image Restoration [105.22191357934398]
  HQ-50Kには5万の高品質の画像があり、テクスチャの詳細とセマンティックな多様性がある。 既存の画像復元データセットを5つの異なる視点から分析する。 HQ-50Kは、データキュレーションプロセスでこれら5つの側面をすべて考慮し、すべての要件を満たす。
  論文  参考訳（メタデータ） (2023-06-08T17:44:21Z)
• Delving Deeper into Data Scaling in Masked Image Modeling [145.36501330782357]
  視覚認識のためのマスク付き画像モデリング(MIM)手法のスケーリング能力に関する実証的研究を行った。 具体的には、Webで収集したCoyo-700Mデータセットを利用する。 我々のゴールは、データとモデルのサイズの異なるスケールでダウンストリームタスクのパフォーマンスがどのように変化するかを調べることです。
  論文  参考訳（メタデータ） (2023-05-24T15:33:46Z)
• Generative Transfer Learning: Covid-19 Classification with a few Chest X-ray Images [0.0]
  深層学習モデルは解釈を迅速化し、人間の専門家の仕事を軽減することができる。 Deep Transfer Learningは、パブリックドメインで事前訓練されたモデルを使用することで、この問題に対処する。 本稿では,既存の大規模事前学習モデルと同様に,単一の概念に基づいて事前学習した簡易な生成源モデルを提案する。
  論文  参考訳（メタデータ） (2022-08-10T12:37:52Z)
• Terrain Classification using Transfer Learning on Hyperspectral Images: A Comparative study [0.13999481573773068]
  畳み込みニューラルネットワーク(CNN)とMulti-Layer Perceptron(MLP)は画像分類の有効な方法であることが証明されている。 しかし、彼らは長いトレーニング時間と大量のラベル付きデータの要求の問題に悩まされている。 本稿では,移動学習法を用いてトレーニング時間を短縮し,大規模ラベル付きデータセットへの依存を減らすことを提案する。
  論文  参考訳（メタデータ） (2022-06-19T14:36:33Z)
• On Data Scaling in Masked Image Modeling [36.00347416479826]
  マスク付き画像モデリング(MIM)は、大きなデータの恩恵を受けられないと疑われている。 ImageNet-1Kの10%から完全なImageNet-22Kまで、モデルサイズは4900万から10億まで、トレーニング期間は125万から5万まで。 事前トレーニングにおけるバリデーションの損失は、複数のタスクの微調整においてモデルがどれだけうまく機能するかを測定するのに良い指標である。
  論文  参考訳（メタデータ） (2022-06-09T17:58:24Z)
• InvGAN: Invertible GANs [88.58338626299837]
  InvGANはInvertible GANの略で、高品質な生成モデルの潜在空間に実際の画像を埋め込むことに成功した。 これにより、画像のインペイント、マージ、オンラインデータ拡張を実行できます。
  論文  参考訳（メタデータ） (2021-12-08T21:39:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。