論文の概要: CheXtransfer: Performance and Parameter Efficiency of ImageNet Models
for Chest X-Ray Interpretation
- arxiv url: http://arxiv.org/abs/2101.06871v2
- Date: Sun, 21 Feb 2021 02:06:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-27 17:42:40.434579
- Title: CheXtransfer: Performance and Parameter Efficiency of ImageNet Models
for Chest X-Ray Interpretation
- Title（参考訳）: CheXtransfer:胸部X線解釈のための画像ネットモデルの性能とパラメータ効率
- Authors: Alexander Ke, William Ellsworth, Oishi Banerjee, Andrew Y. Ng, Pranav
Rajpurkar
- Abstract要約: 胸部X線解釈のためのディープラーニングの方法は、通常、ImageNet用に開発された事前訓練モデルに依存します。
本研究では,大胸部X線データセット(CheXpert)上の16の一般的な畳み込みアーキテクチャの転送性能とパラメータ効率を比較した。
ImageNetのパフォーマンスとCheXpertのパフォーマンスには、事前トレーニングなしのモデルと事前トレーニングのあるモデルには関係がありません。
- 参考スコア（独自算出の注目度）: 64.47297965270285
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning methods for chest X-ray interpretation typically rely on
pretrained models developed for ImageNet. This paradigm assumes that better
ImageNet architectures perform better on chest X-ray tasks and that
ImageNet-pretrained weights provide a performance boost over random
initialization. In this work, we compare the transfer performance and parameter
efficiency of 16 popular convolutional architectures on a large chest X-ray
dataset (CheXpert) to investigate these assumptions. First, we find no
relationship between ImageNet performance and CheXpert performance for both
models without pretraining and models with pretraining. Second, we find that,
for models without pretraining, the choice of model family influences
performance more than size within a family for medical imaging tasks. Third, we
observe that ImageNet pretraining yields a statistically significant boost in
performance across architectures, with a higher boost for smaller
architectures. Fourth, we examine whether ImageNet architectures are
unnecessarily large for CheXpert by truncating final blocks from pretrained
models, and find that we can make models 3.25x more parameter-efficient on
average without a statistically significant drop in performance. Our work
contributes new experimental evidence about the relation of ImageNet to chest
x-ray interpretation performance.
- Abstract（参考訳）: 胸部x線解釈のための深層学習法は通常、imagenet用に開発された事前訓練されたモデルに依存している。
このパラダイムは、より良いImageNetアーキテクチャが胸部X線タスクでより良く機能し、ImageNetが予めトレーニングした重みがランダム初期化よりもパフォーマンスを高めることを前提としている。
本研究は, 大規模胸部X線データセット(CheXpert)における16の人気の畳み込みアーキテクチャの伝達性能とパラメータ効率を比較し, これらの仮定について検討する。
まず,事前トレーニングのないモデルと事前トレーニングのないモデルで,ImageNetのパフォーマンスとCheXpertパフォーマンスの関係は見つからない。
第二に、事前訓練のないモデルの場合、モデルファミリーの選択は、医療画像タスクのための家族内のサイズ以上のパフォーマンスに影響を与える。
第3に、ImageNet事前学習は、より小さなアーキテクチャにおいて、より統計的に重要なアーキテクチャ間のパフォーマンス向上をもたらすことを観察する。
第4に、事前訓練されたモデルから最終ブロックをトラッカーすることで、ImageNetアーキテクチャがCheXpertにとって不要に大きいかどうかを調べ、統計的に重要な性能低下を伴わずに、平均3.25倍のパラメータ効率が得られることを発見した。
本研究は,ImageNetと胸部X線解釈性能の関係に関する新たな実験的証拠を提供する。
関連論文リスト
- Numerical Pruning for Efficient Autoregressive Models [87.56342118369123]
本稿では,デコーダのみを用いた変圧器を用いた自己回帰モデルの圧縮に着目する。
具体的には,ニュートン法とモジュールの数値スコアをそれぞれ計算する学習自由プルーニング法を提案する。
提案手法の有効性を検証するため,理論的支援と広範囲な実験を行った。
論文 参考訳（メタデータ） (2024-12-17T01:09:23Z) - ImageNet-RIB Benchmark: Large Pre-Training Datasets Don't Always Guarantee Robustness after Fine-Tuning [30.422932548359952]
我々は、新しい堅牢な微調整ベンチマーク ImageNet-RIB (Robustness Inheritance Benchmark) を導入する。
最適なトランスポートによって測定された事前トレーニングデータセットと下流データセットの距離は、事前トレーニングデータセットでこのパフォーマンス劣化を予測する。
対照的に、関連する下流タスクを微調整した後のモデルロバスト性は、トレーニング前のデータセットが最も豊かで、最も多様である場合に最悪のものとなる。
論文 参考訳（メタデータ） (2024-10-28T22:33:22Z) - ImageNet-D: Benchmarking Neural Network Robustness on Diffusion Synthetic Object [78.58860252442045]
我々は、深層モデルの堅牢性をベンチマークするハードイメージのためのデータソースとして、生成モデルを紹介した。
このベンチマークを ImageNet-D と呼ぶ以前の作業よりも、背景、テクスチャ、材料が多様化したイメージを生成することができます。
我々の研究は、拡散モデルが視覚モデルをテストするのに効果的な情報源となることを示唆している。
論文 参考訳（メタデータ） (2024-03-27T17:23:39Z) - A-SDM: Accelerating Stable Diffusion through Redundancy Removal and
Performance Optimization [54.113083217869516]
本研究ではまず,ネットワークの計算冗長性について検討する。
次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。
第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
論文 参考訳（メタデータ） (2023-12-24T15:37:47Z) - A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。
本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。
提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
論文 参考訳（メタデータ） (2023-11-03T17:29:46Z) - Interpreting CLIP: Insights on the Robustness to ImageNet Distribution Shifts [22.74552390076515]
種々のバックボーンと事前学習セットを持つ16の頑健なゼロショットCLIPビジョンエンコーダの表現空間を探索する。
頑健なゼロショットCLIPビジョンエンコーダにおいて、オフリー機能の存在を検知し、これらが非トランスフォーマーモデルで観測されるのはこれが初めてである。
我々は、モデルにおけるImageNetシフトのロバスト性を示すために、外部機能が存在することを発見した。
論文 参考訳（メタデータ） (2023-10-19T17:59:12Z) - Top-KAST: Top-K Always Sparse Training [50.05611544535801]
トレーニングを通して一定間隔を保存するTop-KASTを提案する。
確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。
ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
論文 参考訳（メタデータ） (2021-06-07T11:13:05Z) - High-Performance Large-Scale Image Recognition Without Normalization [34.58818094675353]
バッチ正規化は、ほとんどの画像分類モデルのキーコンポーネントであるが、多くの望ましくない性質を持っている。
我々は,これらの不安定性を克服する適応的勾配クリッピング手法を開発し,より優れた正規化自由レスネットのクラスを設計する。
大規模事前トレーニング後のImageNetの微調整では,バッチ正規化よりも大幅に性能が向上した。
論文 参考訳（メタデータ） (2021-02-11T18:23:20Z) - Multi-task pre-training of deep neural networks for digital pathology [8.74883469030132]
私たちはまず、多くのデジタル病理データセットを22の分類タスクと約900kの画像のプールに組み立て、変換しました。
特徴抽出器として使用されるモデルは、ImageNet事前訓練されたモデルよりも大幅に改善されるか、同等のパフォーマンスを提供するかを示す。
論文 参考訳（メタデータ） (2020-05-05T08:50:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。