論文の概要: A data- and compute-efficient chest X-ray foundation model beyond aggressive scaling

• arxiv url: http://arxiv.org/abs/2602.22843v1
• Date: Thu, 26 Feb 2026 10:32:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.647008
• Title: A data- and compute-efficient chest X-ray foundation model beyond aggressive scaling
• Title（参考訳）: データと計算効率のよい胸部X線基礎モデル
• Authors: Chong Wang, Yabin Zhang, Yunhe Gao, Maya Varma, Clemence Mottez, Faidra Patsatzi, Jiaming Liu, Jin Long, Jean-Benoit Delbrouck, Sergios Gatidis, Akshay S. Chaudhari, Curtis P. Langlotz,
• Abstract要約: 情報トレーニングサンプルを選択的に優先順位付けする基礎モデルであるCheXficientを紹介する。 CheXficientは1,235,004対のCXR画像とレポートの22.7%しか事前訓練されておらず、計算予算全体の27.3%未満を消費している。
• 参考スコア（独自算出の注目度）: 25.71387817096291
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Foundation models for medical imaging are typically pretrained on increasingly large datasets, following a "scale-at-all-costs" paradigm. However, this strategy faces two critical challenges: large-scale medical datasets often contain substantial redundancy and severe class imbalance that bias representation learning toward over-represented patterns, and indiscriminate training regardless of heterogeneity in data quality incurs considerable computational inefficiency. Here we demonstrate that active, principled data curation during pretraining can serve as a viable, cost-effective alternative to brute-force dataset enlargement. We introduce CheXficient, a chest X-ray (CXR) foundation model that selectively prioritizes informative training samples. CheXficient is pretrained on only 22.7% of 1,235,004 paired CXR images and reports while consuming under 27.3% of the total compute budget, yet achieving comparable or superior performance to its full-data counterpart and other large-scale pretrained models. We assess CheXficient across 20 individual benchmarks spanning 5 task types, including non-adapted off-the-shelf evaluations (zero-shot findings classification and crossmodal retrieval) and adapted downstream tasks (disease prediction, semantic segmentation, and radiology report generation). Further analyses show that CheXficient systematically prioritizes under-represented training samples, improving generalizability on long-tailed or rare conditions. Overall, our work offers practical insights into the data and computation demands for efficient pretraining and downstream adaptation of medical vision-language foundation models.
• Abstract（参考訳）: 医療画像の基礎モデルは通常、"スケール・アット・オール・コスト"パラダイムに従って、ますます大きなデータセットで事前訓練される。 しかし、この戦略は2つの重要な課題に直面している: 大規模な医療データセットには、過度に表現されたパターンに対する偏見表現の学習が相当な冗長性と深刻なクラス不均衡が伴うことがあり、データ品質の不均一性にかかわらず、かなりの計算不効率を引き起こす訓練を非差別化する。 ここでは、事前トレーニング中のアクティブで原則化されたデータキュレーションが、ブルートフォースデータセットの拡張に対して実行可能な、費用対効果の代替となることを実証する。 我々は胸部X線(CXR)基礎モデルであるCheXficientを紹介し,情報的トレーニングサンプルを選択的に優先順位付けする。 CheXficientは1,235,004対のCXR画像とレポートの22.7%しか事前訓練されていないが、計算予算全体の27.3%を消費している。 5つのタスクタイプにまたがる20のベンチマークでCheXficientを評価し,非適応型オフ・ザ・シェルフ評価(ゼロショット発見分類とクロスモーダル検索)と下流タスクの適応(リリース予測,セマンティックセグメンテーション,放射線学レポート生成)を行った。 さらに分析したところ、CheXficientは、表現不足のトレーニングサンプルを体系的に優先順位付けし、長い尾や稀な条件での一般化性を改善した。 全体として、我々の研究は、医療ビジョン言語基礎モデルの効率的な事前学習および下流適応のためのデータと計算要求に関する実践的な洞察を提供する。

関連論文リスト

• From Detection to Mitigation: Addressing Bias in Deep Learning Models for Chest X-Ray Diagnosis [3.9236980712240217]
  胸部X線で診断を行う際に,性別,年齢,人種による格差を対象とする包括的バイアス検出・緩和フレームワークを提案する。 我々は,CNNの最終層をeXtreme Gradient Boosting分類器に置き換えることで,全体の予測性能を維持したり改善したりしながら,サブグループの公平性を向上させることを示す。 さらに,この軽量なアダプタトレーニング手法と,対角訓練,再重み付け,データ強化,アクティブラーニングなどの従来のフルモデル学習バイアス軽減手法を比較し,本手法が計算コストのごく一部で競争力あるいは優れたバイアス低減を提供することを示した。
  論文  参考訳（メタデータ） (2025-10-12T22:20:08Z)
• Iterative Misclassification Error Training (IMET): An Optimized Neural Network Training Technique for Image Classification [0.5115559623386964]
  カリキュラム学習とコアセット選択に触発された新しいフレームワークであるIMET(Iterative Misclassification Error Training)を紹介する。 IMETは、トレーニングプロセスの合理化を図りつつ、エッジケースに対するモデルの注意を先入観的かつ稀な結果に優先順位付けしながら、誤分類されたサンプルを特定することを目的としている。 本稿では,最新のResNetアーキテクチャに対するベンチマーク医用画像分類データセット上でのIMETの性能を評価する。
  論文  参考訳（メタデータ） (2025-07-01T04:14:16Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• SPCXR: Self-supervised Pretraining using Chest X-rays Towards a Domain Specific Foundation Model [4.397622801930704]
  胸部X線(CXR)は肺疾患の診断と予後のための画像モダリティとして広く用いられている。 そこで我々は,グループメイドの自己教師型フレームワークを用いて,CXRからの一般的な表現を学習する,新たな自己教師型パラダイムを提案する。 事前訓練されたモデルは、コビッド19、肺炎の検出、一般的な健康スクリーニングといったドメイン固有のタスクのために微調整される。
  論文  参考訳（メタデータ） (2022-11-23T13:38:16Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)
• SANSformers: Self-Supervised Forecasting in Electronic Health Records with Attention-Free Models [48.07469930813923]
  本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。 SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。 本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
  論文  参考訳（メタデータ） (2021-08-31T08:23:56Z)
• Pre-training transformer-based framework on large-scale pediatric claims data for downstream population-specific tasks [3.1580072841682734]
  本研究は、小児科のクレームデータセット全体をトレーニングする一般的な事前学習モデルであるClaim Pre-Training(Claim-PT)フレームワークを提案する。 効果的な知識伝達はタスク対応微調整段階を通じて完了する。 我々は100万人以上の患者記録を持つ実世界のクレームデータセットの実験を行った。
  論文  参考訳（メタデータ） (2021-06-24T15:25:41Z)
• Self-Supervised Pretraining Improves Self-Supervised Pretraining [83.1423204498361]
  自己教師付き事前トレーニングには、高価で長い計算と大量のデータが必要で、データ拡張に敏感である。 本稿では,既存の事前学習モデルを用いて事前学習プロセスを初期化することにより,収束時間を短縮し,精度を向上させる階層的事前学習(HPT)について検討する。 HPTが最大80倍速く収束し、タスク全体の精度が向上し、自己監視された事前トレーニングプロセスの堅牢性が、画像増強ポリシーまたは事前トレーニングデータの量の変化に改善されることを示します。
  論文  参考訳（メタデータ） (2021-03-23T17:37:51Z)
• Self-Training with Improved Regularization for Sample-Efficient Chest X-Ray Classification [80.00316465793702]
  挑戦的なシナリオで堅牢なモデリングを可能にするディープラーニングフレームワークを提案する。 その結果,85%のラベル付きデータを用いて,大規模データ設定で学習した分類器の性能に適合する予測モデルを構築することができた。
  論文  参考訳（メタデータ） (2020-05-03T02:36:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。