論文の概要: From pre-training to downstream performance: Does domain-specific pre-training make sense?

• arxiv url: http://arxiv.org/abs/2605.08819v1
• Date: Sat, 09 May 2026 09:11:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.908657
• Title: From pre-training to downstream performance: Does domain-specific pre-training make sense?
• Title（参考訳）: 事前トレーニングから下流のパフォーマンス:ドメイン固有の事前トレーニングは理にかなっているか?
• Abstract要約: 本研究は,医用画像における深層学習モデルの信頼性と有効性を高めるための事前学習戦略の重要性を強調した。 これらの重要な要因に対処することにより、より正確で信頼性の高い診断ツールの開発に寄与することを目的としている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning techniques have revolutionised medical imaging, improving diagnostic accuracy and enabling both more accurate and earlier disease detection. However, the relationship between pre-training strategies and downstream performance in medical imaging models requires further exploration. Here, we systematically compare convolutional neural networks and transformers, examining various pre-training approaches, including supervised and self-supervised learning, as well as different initialisations and data modalities. Models are evaluated on natural images, chest X-rays, chest CT and retina OCT images, considering the effects of matching pre-training data with target modalities. Our findings indicate that only pre-training on data closely matching the target modality significantly improves downstream performance. While self-supervised learning can outperform supervised methods, its effectiveness varies with context. The study underscores the importance of pre-training strategies to enhance the reliability and effectiveness of deep learning models in medical imaging. By addressing these key factors, our research aims to contribute to the development of more accurate and dependable diagnostic tools, ultimately improving patient outcomes in clinical settings.
• Abstract（参考訳）: 深層学習技術は医用画像に革命をもたらし、診断精度を改善し、より正確かつ早期の疾患検出を可能にする。 しかし, 医用画像モデルにおけるトレーニング前戦略と下流性能の関係は, さらなる探究が必要である。 本稿では,畳み込みニューラルネットワークとトランスフォーマーを体系的に比較し,教師付き学習や自己教師型学習,さまざまな初期化やデータモダリティなど,事前学習のアプローチについて検討する。 対象のモダリティと事前学習データとのマッチングの影響を考慮し, 自然画像, 胸部X線, 胸部CT, 網膜CT画像を用いてモデルの評価を行った。 以上の結果から,目標モダリティと密に一致したデータによる事前学習のみにより,下流性能が著しく向上することが示唆された。 自己教師付き学習は教師付き手法よりも優れているが、その効果は文脈によって異なる。 本研究は,医用画像における深層学習モデルの信頼性と有効性を高めるための事前学習戦略の重要性を強調した。 本研究は,これらの重要な要因に対処することにより,より正確で信頼性の高い診断ツールの開発に寄与し,最終的に臨床現場における患者の予後を改善することを目的としている。

関連論文リスト

• Entropy-Guided Self-Supervised Learning for Medical Image Classification [0.0]
  本稿では,自己教師型学習と伝達学習の強みを活かし,医用画像分類の強化を目的とした相乗的深層学習フレームワークを提案する。 提案手法では,2つの異なるConvNeXt-Tinyモデルを用いている。1つは大規模自然画像データセット(ImageNet)で事前トレーニングされたもので,もう1つはターゲットの医療データセットでエントロピー誘導型Masked Autoencoder(MAE)を用いて事前トレーニングされたものだ。 4つの多様な医用画像データセットに対する厳密な実験的検証は、我々のアンサンブルアプローチの優れた性能と堅牢性を示している。
  論文  参考訳（メタデータ） (2026-05-21T04:01:06Z)
• Self-Supervised Learning for Pre-training Capsule Networks: Overcoming Medical Imaging Dataset Challenges [2.9248916859490173]
  本研究では,大腸癌に対するポリープ診断におけるプレトレーニングカプセルネットワークの自己指導的学習法について検討した。 我々は,医学データセットの典型的な課題を示す3,433個のサンプルからなるPICCOLOデータセットを使用した。 本研究は,医学領域における自己指導型学習の補助的課題として,コントラスト学習とインペイント技術が有用であることが示唆された。
  論文  参考訳（メタデータ） (2025-02-07T08:32:26Z)
• Transfer or Self-Supervised? Bridging the Performance Gap in Medical Imaging [6.744847405966574]
  本稿では,医療分野における転帰学習と自己指導学習のパフォーマンスと堅牢性を比較した。 我々は、データ不均衡、データの不足、ドメインミスマッチなど、医療領域で共通するいくつかの問題でデータをテストした。 医療分野における転帰学習と自己指導型学習の活用を支援するための推奨事項を提示する。
  論文  参考訳（メタデータ） (2024-07-08T04:14:52Z)
• Boosting Few-Shot Learning with Disentangled Self-Supervised Learning and Meta-Learning for Medical Image Classification [8.975676404678374]
  低データ体制下で訓練されたモデルの性能と一般化能力を改善するための戦略を提案する。 提案手法は、自己教師付き学習環境において学習した特徴をアンタングル化して、下流タスクの表現の堅牢性を向上する事前学習段階から開始する。 次に、メタファインニングのステップを導入し、メタトレーニングとメタテストフェーズの関連クラスを活用するが、レベルは変化する。
  論文  参考訳（メタデータ） (2024-03-26T09:36:20Z)
• A Survey of the Impact of Self-Supervised Pretraining for Diagnostic Tasks with Radiological Images [71.26717896083433]
  自己教師付き事前学習は,伝達学習における特徴表現の改善に有効であることが観察されている。 本総説ではX線, CT, 磁気共鳴, 超音波画像における使用法について概説する。
  論文  参考訳（メタデータ） (2023-09-05T19:45:09Z)
• Robust and Efficient Medical Imaging with Self-Supervision [80.62711706785834]
  医用画像AIの堅牢性とデータ効率を向上させるための統一表現学習戦略であるREMEDISを提案する。 様々な医療画像タスクを研究し, 振り返りデータを用いて3つの現実的な応用シナリオをシミュレートする。
  論文  参考訳（メタデータ） (2022-05-19T17:34:18Z)
• Performance or Trust? Why Not Both. Deep AUC Maximization with Self-Supervised Learning for COVID-19 Chest X-ray Classifications [72.52228843498193]
  ディープラーニングモデルのトレーニングでは、パフォーマンスと信頼の間に妥協をしなければなりません。 本研究は、新型コロナウイルス患者のコンピュータ支援スクリーニングのための自己教師型学習と新しい代理損失を統合したものである。
  論文  参考訳（メタデータ） (2021-12-14T21:16:52Z)
• On the Robustness of Pretraining and Self-Supervision for a Deep Learning-based Analysis of Diabetic Retinopathy [70.71457102672545]
  糖尿病網膜症における訓練方法の違いによる影響を比較検討した。 本稿では,定量的性能,学習した特徴表現の統計,解釈可能性,画像歪みに対する頑健性など,さまざまな側面について検討する。 以上の結果から,ImageNet事前学習モデルでは,画像歪みに対する性能,一般化,堅牢性が著しく向上していることが示唆された。
  論文  参考訳（メタデータ） (2021-06-25T08:32:45Z)
• A Multi-Stage Attentive Transfer Learning Framework for Improving COVID-19 Diagnosis [49.3704402041314]
  新型コロナの診断を改善するための多段階集中移動学習フレームワークを提案する。 提案するフレームワークは、複数のソースタスクと異なるドメインのデータから知識を学習し、正確な診断モデルを訓練する3つの段階からなる。 本稿では,肺CT画像のマルチスケール表現を学習するための自己教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2021-01-14T01:39:19Z)
• Retinopathy of Prematurity Stage Diagnosis Using Object Segmentation and Convolutional Neural Networks [68.96150598294072]
  未熟児網膜症(英: Retinopathy of Prematurity、ROP)は、主に体重の低い未熟児に影響を及ぼす眼疾患である。 網膜の血管の増殖を招き、視力喪失を招き、最終的には網膜剥離を招き、失明を引き起こす。 近年,ディープラーニングを用いて診断を自動化する試みが盛んに行われている。 本稿では,従来のモデルの成功を基盤として,オブジェクトセグメンテーションと畳み込みニューラルネットワーク(CNN)を組み合わせた新しいアーキテクチャを開発する。 提案システムでは,まず対象分割モデルを訓練し,画素レベルでの区切り線を識別し,その結果のマスクを追加の"カラー"チャネルとして付加する。
  論文  参考訳（メタデータ） (2020-04-03T14:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。