論文の概要: Specializing Foundation Models via Mixture of Low-Rank Experts for Comprehensive Head CT Analysis

• arxiv url: http://arxiv.org/abs/2603.00675v1
• Date: Sat, 28 Feb 2026 14:32:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.31783
• Title: Specializing Foundation Models via Mixture of Low-Rank Experts for Comprehensive Head CT Analysis
• Title（参考訳）: 総合的頭部CT解析のための低ランクエキスパートの混合による基礎モデルの特化
• Authors: Youngjin Yoo, Han Liu, Bogdan Georgescu, Yanbo Zhang, Sasa Grbic, Michael Baumgartner, Thomas J. Re, Jyotipriya Das, Poikavila Ullaskrishnan, Eva Eibenberger, Andrei Chekkoury, Uttam K. Bodanapally, Savvas Nicolaou, Pina C. Sanelli, Thomas J. Schroeppel, Yvonne W. Lui, Eli Gibson,
• Abstract要約: 複数の特殊な低ランクアダプタと教師なしソフトルーティングでLoRAを拡張したMixture of Low-Rank Experts (MoLRE) フレームワークを提案する。 2次元および3次元のアーキテクチャ、一般ドメイン、医療ドメイン、頭部CT固有の事前訓練、および7Mから431Mのモデルサイズにまたがる6つの最先端医療画像基盤モデルのMoLREのベンチマークを提示する。
• 参考スコア（独自算出の注目度）: 6.04562866374803
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation models pre-trained on large-scale datasets demonstrate strong transfer learning capabilities; however, their adaptation to complex multi-label diagnostic tasks-such as comprehensive head CT finding detection-remains understudied. Standard parameter-efficient fine-tuning methods such as LoRA apply uniform adaptations across pathology types, which may limit performance for diverse medical findings. We propose a Mixture of Low-Rank Experts (MoLRE) framework that extends LoRA with multiple specialized low-rank adapters and unsupervised soft routing. This approach enables conditional feature adaptation with less than 0.5% additional parameters and without explicit pathology supervision. We present a comprehensive benchmark of MoLRE across six state-of-the-art medical imaging foundation models spanning 2D and 3D architectures, general-domain, medical-domain, and head CT-specific pretraining, and model sizes ranging from 7M to 431M parameters. Using over 70,000 non-contrast head CT scans with 75 annotated findings-including hemorrhage, infarction, trauma, mass lesions, structural abnormalities, and chronic changes-our experiments demonstrate consistent performance improvements across all models. Gains vary substantially: general-purpose and medical-domain models show the largest improvements (DINOv3-Base: +4.6%; MedGemma: +4.3%), whereas 3D CT-specialized or very large models show more modest gains (+0.2-1.3%). The combination of MoLRE and MedGemma achieves the highest average detection AUC of 0.917. These findings highlight the importance of systematic benchmarking on target clinical tasks, as pretraining domain, architecture, and model scale interact in non-obvious ways.
• Abstract（参考訳）: 大規模データセット上で事前訓練された基礎モデルは、強い伝達学習能力を示すが、複雑な多ラベル診断タスク(例えば、総合的な頭部CTによる検出履歴の発見など)への適応が検討されている。 LoRAのような標準パラメータ効率の微調整法は、病型間で均一な適応を施し、様々な医学的発見のパフォーマンスを制限する可能性がある。 複数の特殊な低ランクアダプタと教師なしソフトルーティングでLoRAを拡張したMixture of Low-Rank Experts (MoLRE) フレームワークを提案する。 このアプローチは、0.5%以上のパラメータを追加し、明確な病理学の監督なしに条件付き特徴適応を可能にする。 2Dおよび3Dアーキテクチャ、一般ドメイン、医療ドメイン、頭部CT固有の事前訓練、および7Mから431Mパラメータのモデルサイズにまたがる6つの最先端医療画像基盤モデルを対象に、MoLREの総合的なベンチマークを提示する。 70,000点以上の非造影頭部CTスキャンと75点の注視所見(出血、梗塞、外傷、腫瘤、構造的異常、慢性的な変化など)を用いて、すべてのモデルで一貫したパフォーマンス改善が示されている。 汎用ドメインモデルと医療ドメインモデルは最大の改善(DINOv3-Base: +4.6%、MedGemma: +4.3%)を示すのに対し、3D CT-specializedまたは非常に大きなモデルはより穏やかな改善(+0.2-1.3%)を示す。 MoLREとMedGemmaの組み合わせにより、平均AUCは0.917である。 これらの知見は、事前学習ドメイン、アーキテクチャ、モデルスケールが非有害な方法で相互作用するなど、対象の臨床的タスクに対する体系的なベンチマークの重要性を強調している。

関連論文リスト

• 3D-TDA - Topological feature extraction from 3D images for Alzheimer's disease classification [0.8500709198102238]
  永続的ホモロジーを用いた新しい特徴抽出法を提案し,脳の構造MRI解析を行った。 このアプローチは、位相的特徴をベッチ関数を通して強力な特徴ベクトルに変換する。 本モデルでは,2進および3進の分類タスクにおいて,最先端のディープラーニングモデルよりも優れる。
  論文  参考訳（メタデータ） (2025-11-11T17:48:28Z)
• Cross-Modal Fine-Tuning of 3D Convolutional Foundation Models for ADHD Classification with Low-Rank Adaptation [21.53698715497362]
  小児の注意欠陥・高活動障害(ADHD)の早期診断は、教育と精神保健の成果を改善する上で重要な役割を担っている。 我々は,MRIに基づくADHD分類タスクに対して,CT画像上で事前訓練された大規模3次元畳み込み基盤モデルを適用する,パラメータ効率のよい移動学習手法を提案する。 提案手法では, 3次元畳み込みカーネルを2次元低ランク更新に分解し, トレーニング可能なパラメータを劇的に削減し, 優れた性能を実現する。
  論文  参考訳（メタデータ） (2025-11-08T23:29:28Z)
• A Novel Multi-branch ConvNeXt Architecture for Identifying Subtle Pathological Features in CT Scans [1.2461503242570642]
  本稿では,医療画像解析の難題に特化して設計されたマルチブランチConvNeXtアーキテクチャを提案する。 提案モデルでは,厳密なデータ前処理から拡張まで,厳格なエンドツーエンドパイプラインを組み込んでいる。 実験結果から、最終的なROC-AUCは0.9937、バリデーション精度は0.9757、F1スコアは0.9825である。
  論文  参考訳（メタデータ） (2025-10-10T08:00:46Z)
• Parameter-efficient fine-tuning (PEFT) of Vision Foundation Models for Atypical Mitotic Figure Classification [0.0]
  非定型有糸分裂図(AMF)は腫瘍攻撃性と予後不良を伴う稀な異常な細胞分裂である。 MID 2025OG チャレンジでは非定型有糸分裂分類のための専用トラックが導入された。 Virchow, Virchow2, UNIを含む大規模視覚基盤モデルのパラメータ効率向上のためのローランド適応(LoRA)を用いた検討を行った。
  論文  参考訳（メタデータ） (2025-09-21T05:46:54Z)
• Comprehensive Multimodal Deep Learning Survival Prediction Enabled by a Transformer Architecture: A Multicenter Study in Glioblastoma [4.578027879885667]
  本研究は,変圧器を用いた深層学習モデルにMR画像,臨床および分子病理学的データを統合することにより,グリオーマの生存率予測を改善することを目的とする。 このモデルは、自己教師付き学習技術を用いて、高次元MRI入力を効果的に符号化し、クロスアテンションを用いた非画像データと統合する。
  論文  参考訳（メタデータ） (2024-05-21T17:44:48Z)
• Towards a clinically accessible radiology foundation model: open-access and lightweight, with automated evaluation [113.5002649181103]
  オープンソースの小型マルチモーダルモデル(SMM)を訓練し、放射線学における未測定臨床ニーズに対する能力ギャップを埋める。 トレーニングのために,697万以上の画像テキストペアからなる大規模なデータセットを組み立てる。 評価のために,GPT-4に基づく実測値CheXpromptを提案する。 LlaVA-Radの推論は高速で、単一のV100 GPU上でプライベート設定で実行できる。
  論文  参考訳（メタデータ） (2024-03-12T18:12:02Z)
• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• Classification of lung cancer subtypes on CT images with synthetic pathological priors [41.75054301525535]
  同症例のCT像と病理像との間には,画像パターンに大規模な関連性が存在する。 肺がんサブタイプをCT画像上で正確に分類するための自己生成型ハイブリッド機能ネットワーク(SGHF-Net)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T02:04:05Z)
• Federated Learning Enables Big Data for Rare Cancer Boundary Detection [98.5549882883963]
  6大陸にわたる71の医療機関のデータを含む,これまでで最大のフェデレーテッドML研究の結果を報告する。 グリオ芽腫の稀な疾患に対する腫瘍境界自動検出装置を作製した。 当科では, 外科的に標的とした腫瘍の悪性度を高めるために, 33%の改善率を示し, 腫瘍全体に対する23%の改善率を示した。
  論文  参考訳（メタデータ） (2022-04-22T17:27:00Z)
• Deep Implicit Statistical Shape Models for 3D Medical Image Delineation [47.78425002879612]
  解剖学的構造の3次元デライン化は、医用画像解析の基本的な目標である。 ディープラーニング以前は、解剖学的制約を課し高品質の表面を作り出す統計的形状モデルはコア技術だった。 我々は,CNNの表現力とSSMの頑健さを合体させるデライン化の新しい手法であるディープ暗黙的統計的形状モデル(DISSMs)を提案する。
  論文  参考訳（メタデータ） (2021-04-07T01:15:06Z)
• Scale-Space Autoencoders for Unsupervised Anomaly Segmentation in Brain MRI [47.26574993639482]
  本研究では, 異常セグメンテーション性能の向上と, ネイティブ解像度で入力データのより鮮明な再構成を行う汎用能力を示す。 ラプラシアンピラミッドのモデリングにより、複数のスケールで病変のデライン化と集約が可能になる。
  論文  参考訳（メタデータ） (2020-06-23T09:20:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。