論文の概要: CheXtransfer: Performance and Parameter Efficiency of ImageNet Models
for Chest X-Ray Interpretation
- arxiv url: http://arxiv.org/abs/2101.06871v2
- Date: Sun, 21 Feb 2021 02:06:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-27 17:42:40.434579
- Title: CheXtransfer: Performance and Parameter Efficiency of ImageNet Models
for Chest X-Ray Interpretation
- Title（参考訳）: CheXtransfer:胸部X線解釈のための画像ネットモデルの性能とパラメータ効率
- Authors: Alexander Ke, William Ellsworth, Oishi Banerjee, Andrew Y. Ng, Pranav
Rajpurkar
- Abstract要約: 胸部X線解釈のためのディープラーニングの方法は、通常、ImageNet用に開発された事前訓練モデルに依存します。
本研究では,大胸部X線データセット(CheXpert)上の16の一般的な畳み込みアーキテクチャの転送性能とパラメータ効率を比較した。
ImageNetのパフォーマンスとCheXpertのパフォーマンスには、事前トレーニングなしのモデルと事前トレーニングのあるモデルには関係がありません。
- 参考スコア（独自算出の注目度）: 64.47297965270285
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning methods for chest X-ray interpretation typically rely on
pretrained models developed for ImageNet. This paradigm assumes that better
ImageNet architectures perform better on chest X-ray tasks and that
ImageNet-pretrained weights provide a performance boost over random
initialization. In this work, we compare the transfer performance and parameter
efficiency of 16 popular convolutional architectures on a large chest X-ray
dataset (CheXpert) to investigate these assumptions. First, we find no
relationship between ImageNet performance and CheXpert performance for both
models without pretraining and models with pretraining. Second, we find that,
for models without pretraining, the choice of model family influences
performance more than size within a family for medical imaging tasks. Third, we
observe that ImageNet pretraining yields a statistically significant boost in
performance across architectures, with a higher boost for smaller
architectures. Fourth, we examine whether ImageNet architectures are
unnecessarily large for CheXpert by truncating final blocks from pretrained
models, and find that we can make models 3.25x more parameter-efficient on
average without a statistically significant drop in performance. Our work
contributes new experimental evidence about the relation of ImageNet to chest
x-ray interpretation performance.
- Abstract（参考訳）: 胸部x線解釈のための深層学習法は通常、imagenet用に開発された事前訓練されたモデルに依存している。
このパラダイムは、より良いImageNetアーキテクチャが胸部X線タスクでより良く機能し、ImageNetが予めトレーニングした重みがランダム初期化よりもパフォーマンスを高めることを前提としている。
本研究は, 大規模胸部X線データセット(CheXpert)における16の人気の畳み込みアーキテクチャの伝達性能とパラメータ効率を比較し, これらの仮定について検討する。
まず,事前トレーニングのないモデルと事前トレーニングのないモデルで,ImageNetのパフォーマンスとCheXpertパフォーマンスの関係は見つからない。
第二に、事前訓練のないモデルの場合、モデルファミリーの選択は、医療画像タスクのための家族内のサイズ以上のパフォーマンスに影響を与える。
第3に、ImageNet事前学習は、より小さなアーキテクチャにおいて、より統計的に重要なアーキテクチャ間のパフォーマンス向上をもたらすことを観察する。
第4に、事前訓練されたモデルから最終ブロックをトラッカーすることで、ImageNetアーキテクチャがCheXpertにとって不要に大きいかどうかを調べ、統計的に重要な性能低下を伴わずに、平均3.25倍のパラメータ効率が得られることを発見した。
本研究は,ImageNetと胸部X線解釈性能の関係に関する新たな実験的証拠を提供する。
関連論文リスト
- ImageNet-D: Benchmarking Neural Network Robustness on Diffusion Synthetic Object [78.58860252442045]
我々は、深層モデルの堅牢性をベンチマークするハードイメージのためのデータソースとして、生成モデルを紹介した。
このベンチマークを ImageNet-D と呼ぶ以前の作業よりも、背景、テクスチャ、材料が多様化したイメージを生成することができます。
我々の研究は、拡散モデルが視覚モデルをテストするのに効果的な情報源となることを示唆している。
論文 参考訳（メタデータ） (2024-03-27T17:23:39Z) - A-SDM: Accelerating Stable Diffusion through Redundancy Removal and
Performance Optimization [54.113083217869516]
本研究ではまず,ネットワークの計算冗長性について検討する。
次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。
第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
論文 参考訳（メタデータ） (2023-12-24T15:37:47Z) - A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。
本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。
提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
論文 参考訳（メタデータ） (2023-11-03T17:29:46Z) - Interpreting CLIP: Insights on the Robustness to ImageNet Distribution Shifts [22.74552390076515]
種々のバックボーンと事前学習セットを持つ16の頑健なゼロショットCLIPビジョンエンコーダの表現空間を探索する。
頑健なゼロショットCLIPビジョンエンコーダにおいて、オフリー機能の存在を検知し、これらが非トランスフォーマーモデルで観測されるのはこれが初めてである。
我々は、モデルにおけるImageNetシフトのロバスト性を示すために、外部機能が存在することを発見した。
論文 参考訳（メタデータ） (2023-10-19T17:59:12Z) - ImageNet-X: Understanding Model Mistakes with Factor of Variation
Annotations [36.348968311668564]
我々は、ポーズ、背景、照明などの要素の16の人間のアノテーションセットであるImageNet-Xを紹介する。
本稿では,現在の認識モデル2200について検討し,モデルアーキテクチャの関数としての誤りの種類について検討する。
モデルにはImageNet-Xカテゴリ全体で一貫した障害モードがある。
論文 参考訳（メタデータ） (2022-11-03T14:56:32Z) - Top-KAST: Top-K Always Sparse Training [50.05611544535801]
トレーニングを通して一定間隔を保存するTop-KASTを提案する。
確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。
ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
論文 参考訳（メタデータ） (2021-06-07T11:13:05Z) - EfficientNetV2: Smaller Models and Faster Training [91.77432224225221]
本稿では,従来のモデルよりも高速な学習速度とパラメータ効率を有する畳み込みネットワークであるEfficientNetV2を紹介する。
トレーニング対応のニューラルネットワークアーキテクチャ検索とスケーリングを組み合わせて、トレーニング速度とパラメータ効率を共同で最適化します。
実験の結果,EfficientNetV2モデルは最先端モデルよりも最大6.8倍の速度でトレーニングできることがわかった。
論文 参考訳（メタデータ） (2021-04-01T07:08:36Z) - High-Performance Large-Scale Image Recognition Without Normalization [34.58818094675353]
バッチ正規化は、ほとんどの画像分類モデルのキーコンポーネントであるが、多くの望ましくない性質を持っている。
我々は,これらの不安定性を克服する適応的勾配クリッピング手法を開発し,より優れた正規化自由レスネットのクラスを設計する。
大規模事前トレーニング後のImageNetの微調整では,バッチ正規化よりも大幅に性能が向上した。
論文 参考訳（メタデータ） (2021-02-11T18:23:20Z) - Multi-task pre-training of deep neural networks for digital pathology [8.74883469030132]
私たちはまず、多くのデジタル病理データセットを22の分類タスクと約900kの画像のプールに組み立て、変換しました。
特徴抽出器として使用されるモデルは、ImageNet事前訓練されたモデルよりも大幅に改善されるか、同等のパフォーマンスを提供するかを示す。
論文 参考訳（メタデータ） (2020-05-05T08:50:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。