論文の概要: General Methods Make Great Domain-specific Foundation Models: A Case-study on Fetal Ultrasound

• arxiv url: http://arxiv.org/abs/2506.19552v1
• Date: Tue, 24 Jun 2025 12:00:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.618259
• Title: General Methods Make Great Domain-specific Foundation Models: A Case-study on Fetal Ultrasound
• Title（参考訳）: 優れたドメイン固有基礎モデル作成方法:胎児超音波のケーススタディ
• Authors: Jakob Ambsdorf, Asbjørn Munk, Sebastian Llambias, Anders Nymark Christensen, Kamil Mikolaj, Randall Balestriero, Martin Tolsgaard, Aasa Feragen, Mads Nielsen,
• Abstract要約: 2M画像の大規模な胎児超音波データセットに基づいて基礎モデルを訓練する。 我々は,自然画像,超音波画像,教師付きベースラインで事前訓練された一連のモデルと比較した。
• 参考スコア（独自算出の注目度）: 15.08091031875334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With access to large-scale, unlabeled medical datasets, researchers are confronted with two questions: Should they attempt to pretrain a custom foundation model on this medical data, or use transfer-learning from an existing generalist model? And, if a custom model is pretrained, are novel methods required? In this paper we explore these questions by conducting a case-study, in which we train a foundation model on a large regional fetal ultrasound dataset of 2M images. By selecting the well-established DINOv2 method for pretraining, we achieve state-of-the-art results on three fetal ultrasound datasets, covering data from different countries, classification, segmentation, and few-shot tasks. We compare against a series of models pretrained on natural images, ultrasound images, and supervised baselines. Our results demonstrate two key insights: (i) Pretraining on custom data is worth it, even if smaller models are trained on less data, as scaling in natural image pretraining does not translate to ultrasound performance. (ii) Well-tuned methods from computer vision are making it feasible to train custom foundation models for a given medical domain, requiring no hyperparameter tuning and little methodological adaptation. Given these findings, we argue that a bias towards methodological innovation should be avoided when developing domain specific foundation models under common computational resource constraints.
• Abstract（参考訳）: 大規模でラベルなしの医療データセットにアクセスすることで、研究者は2つの疑問に直面している。 カスタムモデルが事前トレーニングされている場合、新しい方法が必要か? 本稿では,2M画像の大規模な胎児超音波データセットに基づいて基礎モデルを訓練するケーススタディにより,これらの課題を考察する。 プレトレーニングのためのDINOv2法を選択することで, 異なる国, 分類, セグメンテーション, 少数ショットタスクの3つの胎児超音波データセットに対して, 最先端の成果が得られる。 我々は,自然画像,超音波画像,教師付きベースラインで事前訓練された一連のモデルと比較した。 私たちの結果は2つの重要な洞察を示しています。 (i) 自然画像の事前学習におけるスケーリングが超音波性能に変換されないため、より小さなモデルでより少ないデータでトレーニングしても、カスタムデータの事前学習には価値がある。 (II) コンピュータビジョンからの高度に調整された手法は、特定の医療領域のカスタム基礎モデルを訓練し、ハイパーパラメータチューニングを必要とせず、方法論的適応もほとんど必要としない。 これらの結果から,共通計算資源制約下でのドメイン固有基盤モデルの開発においては,方法論的革新に対するバイアスは避けるべきである,と論じる。

関連論文リスト

• How Good Are We? Evaluating Cell AI Foundation Models in Kidney Pathology with Human-in-the-Loop Enrichment [11.60167559546617]
  AI基盤モデルのトレーニングは、現実の医療課題に対処するための、有望な大規模学習アプローチとして登場した。 これらのモデルの多くは、疾患の診断や組織定量化などのタスクのために開発されたが、単一の臓器内の核分割のような最も単純なタスクに展開するための準備が整っていないことは確かである。 本稿では、最近の細胞基盤モデルの性能をキュレートされたデータセット上で徹底的に評価することにより、この重要な疑問である「我々はどのくらい良いのか?」に答えようとしている。
  論文  参考訳（メタデータ） (2024-10-31T17:00:33Z)
• Text-guided Foundation Model Adaptation for Long-Tailed Medical Image Classification [4.6651139122498]
  医学的文脈では、まれな疾患のラベルの少ない長いデータセットにおける不均衡なデータ分布は、ディープラーニングモデルの診断精度を著しく損なう。 最近のマルチモーダルテキスト画像管理基盤モデルは、効率的な表現学習を通じて、データの不足に対する新しい解決策を提供する。 長期医療画像分類のための新しいテキスト誘導基礎モデル適応法(TFA-LT)を提案する。 提案手法は27.1%の精度向上を実現し,本領域における基礎モデル適用の可能性を強調した。
  論文  参考訳（メタデータ） (2024-08-27T04:18:18Z)
• Overcoming Data Scarcity in Biomedical Imaging with a Foundational Multi-Task Model [2.5994154212235685]
  大規模に事前訓練された基礎モデルは、医療以外の領域でかなりの成功を収めている。 本稿では,メモリ要件からトレーニングタスク数を分離するマルチタスク学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-16T12:20:25Z)
• Interpretable 2D Vision Models for 3D Medical Images [47.75089895500738]
  本研究では,3次元画像処理における中間特徴表現を用いた2次元ネットワークの適応手法を提案する。 我々は、ベンチマークとして3D MedMNISTデータセットと、既存の手法に匹敵する数百の高分解能CTまたはMRIスキャンからなる2つの実世界のデータセットを示す。
  論文  参考訳（メタデータ） (2023-07-13T08:27:09Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• Prototype Learning for Explainable Brain Age Prediction [1.104960878651584]
  回帰タスクに特化して設計された,説明可能なプロトタイプベースモデルであるExPeRTを提案する。 提案モデルでは,プロトタイプラベルの重み付き平均値を用いて,学習したプロトタイプのラテント空間における距離からサンプル予測を行う。 提案手法は,モデル推論プロセスに関する知見を提供しながら,最先端の予測性能を実現した。
  論文  参考訳（メタデータ） (2023-06-16T14:13:21Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• Ultrasound Signal Processing: From Models to Deep Learning [64.56774869055826]
  医用超音波画像は、信頼性と解釈可能な画像再構成を提供するために、高品質な信号処理に大きく依存している。 データ駆動方式で最適化されたディープラーニングベースの手法が人気を集めている。 比較的新しいパラダイムは、データ駆動型ディープラーニングの活用とドメイン知識の活用という2つのパワーを組み合わせたものだ。
  論文  参考訳（メタデータ） (2022-04-09T13:04:36Z)
• On-the-Fly Test-time Adaptation for Medical Image Segmentation [63.476899335138164]
  ソースモデルをテスト時にターゲットデータに適応させることは、データシフト問題に対する効率的な解決策である。 本稿では、各畳み込みブロックに適応バッチ正規化層を設けるAdaptive UNetという新しいフレームワークを提案する。 テスト期間中、モデルは新しいテストイメージのみを取り込み、ドメインコードを生成して、テストデータに従ってソースモデルの特徴を適応させる。
  論文  参考訳（メタデータ） (2022-03-10T18:51:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。