論文の概要: Uncovering the effects of model initialization on deep model
generalization: A study with adult and pediatric Chest X-ray images
- arxiv url: http://arxiv.org/abs/2309.11318v1
- Date: Wed, 20 Sep 2023 13:42:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-21 16:01:06.703168
- Title: Uncovering the effects of model initialization on deep model
generalization: A study with adult and pediatric Chest X-ray images
- Title（参考訳）: モデル初期化が深部モデル一般化に及ぼす影響を明らかにする:成人および小児の胸部X線像を用いた検討
- Authors: Sivaramakrishnan Rajaraman, Ghada Zamzmi, Feng Yang, Zhaohui Liang,
Zhiyun Xue, and Sameer Antani
- Abstract要約: ImageNet-pretrained weights showed superior generalizability than randomly opponents, against some findings for non-medical images。
これらのモデルの重量レベルのアンサンブルは、個々のモデルと比較してテスト中にかなり高いリコール(p 0.05)を示す。
- 参考スコア（独自算出の注目度）: 5.454938535500864
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Model initialization techniques are vital for improving the performance and
reliability of deep learning models in medical computer vision applications.
While much literature exists on non-medical images, the impacts on medical
images, particularly chest X-rays (CXRs) are less understood. Addressing this
gap, our study explores three deep model initialization techniques: Cold-start,
Warm-start, and Shrink and Perturb start, focusing on adult and pediatric
populations. We specifically focus on scenarios with periodically arriving data
for training, thereby embracing the real-world scenarios of ongoing data influx
and the need for model updates. We evaluate these models for generalizability
against external adult and pediatric CXR datasets. We also propose novel
ensemble methods: F-score-weighted Sequential Least-Squares Quadratic
Programming (F-SLSQP) and Attention-Guided Ensembles with Learnable Fuzzy
Softmax to aggregate weight parameters from multiple models to capitalize on
their collective knowledge and complementary representations. We perform
statistical significance tests with 95% confidence intervals and p-values to
analyze model performance. Our evaluations indicate models initialized with
ImageNet-pre-trained weights demonstrate superior generalizability over
randomly initialized counterparts, contradicting some findings for non-medical
images. Notably, ImageNet-pretrained models exhibit consistent performance
during internal and external testing across different training scenarios.
Weight-level ensembles of these models show significantly higher recall
(p<0.05) during testing compared to individual models. Thus, our study
accentuates the benefits of ImageNet-pretrained weight initialization,
especially when used with weight-level ensembles, for creating robust and
generalizable deep learning solutions.
- Abstract（参考訳）: 医用コンピュータビジョンアプリケーションにおけるディープラーニングモデルの性能と信頼性向上には,モデル初期化技術が不可欠である。
非医療画像には多くの文献が存在するが、医療画像、特に胸部X線(CXR)への影響は理解されていない。
このギャップに対処するために,本研究では,成人および小児の集団に焦点を当てた,コールドスタート,ウォームスタート,縮小および摂動スタートの3つの深層モデル初期化手法を検討した。
具体的には,トレーニング用データの定期的に到着するシナリオに注目し,進行中のデータ流入とモデル更新の必要性の現実的なシナリオを受け入れる。
これらのモデルを用いて,外部の成人および小児のcxrデータセットに対する汎用性を評価する。
F-score-weighted Sequential Least-Squares Quadratic Programming (F-SLSQP) と Attention-Guided Ensembles with Learnable Fuzzy Softmax は、複数のモデルから重みパラメータを集約し、それらの集合的知識と相補的表現を活用する。
95%信頼区間とp値を用いて統計的有意性テストを行い,モデルの性能を解析した。
評価の結果,imagenet-pre-trained weightsで初期化したモデルがランダムに初期化されたモデルよりも優れた一般化性を示し,非医療的画像に対するいくつかの結果と矛盾することが示された。
特に、ImageNet-pretrainedモデルは、異なるトレーニングシナリオで内部および外部テスト中に一貫したパフォーマンスを示す。
これらのモデルの重量レベルのアンサンブルは、個々のモデルと比較してテスト中にかなり高いリコール(p<0.05)を示す。
そこで本研究では,特に重みレベルアンサンブルを用いた場合の,imagenetプリトレーニングされた重み初期化の利点を強調する。
関連論文リスト
- Towards Scalable Foundation Models for Digital Dermatology [35.62296620281727]
我々は、24万以上の皮膚画像のデータセット上で、自己教師付き学習(SSL)技術を用いてモデルを事前訓練する。
以上の結果から,本研究で事前訓練したモデルは汎用モデルを上回るだけでなく,臨床関連診断タスクにおける50倍のモデルの性能にもアプローチすることが示唆された。
論文 参考訳（メタデータ） (2024-11-08T12:19:20Z) - Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。
逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。
我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
論文 参考訳（メタデータ） (2024-06-19T08:07:14Z) - Opinion-Unaware Blind Image Quality Assessment using Multi-Scale Deep Feature Statistics [54.08757792080732]
我々は,事前学習された視覚モデルからの深い特徴を統計的解析モデルと統合して,意見認識のないBIQA(OU-BIQA)を実現することを提案する。
提案モデルは,最先端のBIQAモデルと比較して,人間の視覚的知覚との整合性に優れる。
論文 参考訳（メタデータ） (2024-05-29T06:09:34Z) - Certification of Deep Learning Models for Medical Image Segmentation [44.177565298565966]
ランダムな平滑化と拡散モデルに基づく医用画像のための認定セグメンテーションベースラインを初めて提示する。
この結果から,拡散確率モデルをデノナイズするパワーを活用することで,ランダムな平滑化の限界を克服できることが示唆された。
論文 参考訳（メタデータ） (2023-10-05T16:40:33Z) - MUSCLE: Multi-task Self-supervised Continual Learning to Pre-train Deep
Models for X-ray Images of Multiple Body Parts [63.30352394004674]
MUSCLE(Multi-task Self-super-vised Continual Learning)は、医用画像処理タスクのための、新しい自己教師付き事前学習パイプラインである。
MUSCLEは、複数の身体部分から収集したX線を集約して表現学習を行い、よく設計された連続学習手順を採用する。
肺炎分類,骨格異常分類,肺セグメンテーション,結核(TB)検出など,9つの実世界のX線データセットを用いてMUSCLEを評価する。
論文 参考訳（メタデータ） (2023-10-03T12:19:19Z) - ADASSM: Adversarial Data Augmentation in Statistical Shape Models From
Images [0.8192907805418583]
本稿では,データ依存型ノイズ生成やテクスチャ拡張を利用して,画像間SSMフレームワークのオンザフライデータ拡張のための新しい戦略を提案する。
提案手法は,画素値のみに頼らず,基礎となる幾何学に焦点をあてることにより,精度の向上を実現する。
論文 参考訳（メタデータ） (2023-07-06T20:21:12Z) - MedFMC: A Real-world Dataset and Benchmark For Foundation Model
Adaptation in Medical Image Classification [41.16626194300303]
ファンデーションモデルは、多くの場合、大規模なデータで事前訓練されているが、様々なビジョンや言語アプリケーションのジャンプ開始において、最も成功している。
最近の進歩により、下流タスクにおける基礎モデルの適応は、少数のトレーニングサンプルだけで効率的に行えるようになった。
しかし, 医用画像解析におけるそのような学習パラダイムの適用は, 一般に公開されているデータやベンチマークが不足しているため, 依然として少ない。
論文 参考訳（メタデータ） (2023-06-16T01:46:07Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳（メタデータ） (2023-03-30T18:20:00Z) - Improved skin lesion recognition by a Self-Supervised Curricular Deep
Learning approach [0.0]
皮膚病変認識のための最先端のディープラーニングアプローチは、より大きな、より多様なデータセットを事前訓練する必要があることが多い。
ImageNetはしばしば事前トレーニングデータセットとして使用されるが、その転送ポテンシャルは、ソースデータセットとターゲット皮膚内視鏡シナリオの間のドメインギャップによって妨げられる。
そこで本研究では,一連のセルフ・スーパーバイザード・ラーニング・プレテキストタスクを逐次訓練する,新しい事前学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-22T17:45:47Z) - A multi-stage machine learning model on diagnosis of esophageal
manometry [50.591267188664666]
このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。
これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
論文 参考訳（メタデータ） (2021-06-25T20:09:23Z) - On the Robustness of Pretraining and Self-Supervision for a Deep
Learning-based Analysis of Diabetic Retinopathy [70.71457102672545]
糖尿病網膜症における訓練方法の違いによる影響を比較検討した。
本稿では,定量的性能,学習した特徴表現の統計,解釈可能性,画像歪みに対する頑健性など,さまざまな側面について検討する。
以上の結果から,ImageNet事前学習モデルでは,画像歪みに対する性能,一般化,堅牢性が著しく向上していることが示唆された。
論文 参考訳（メタデータ） (2021-06-25T08:32:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。