論文の概要: Deep Reprogramming Distillation for Medical Foundation Models

• arxiv url: http://arxiv.org/abs/2605.04447v1
• Date: Wed, 06 May 2026 03:22:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.622517
• Title: Deep Reprogramming Distillation for Medical Foundation Models
• Title（参考訳）: 医療基礎モデルのための深層再生蒸留法
• Abstract要約: 本稿では,一般適応問題に対処するために,Deep Re programming Distillation (DRD) と呼ばれる新しいフレームワークを提案する。 具体的には、DRDは、一方が事前学習と下流シナリオ間のドメインとタスクの相違を克服する、新しい再プログラミングモジュールを導入している。 異なる訓練条件下でのばらつきを軽減するため, 堅牢な知識伝達を促進するために, 中心核アライメント (CKA) 蒸留法を設計する。
• 参考スコア（独自算出の注目度）: 74.76894329393512
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Medical foundation models pre-trained on large-scale datasets have shown powerful versatile performance. However, when adapting medical foundation models for specific medical scenarios, it remains the inevitable challenge due to the gap induced by the discrepancy between pre-training and downstream tasks, the real-world computation, and speed constraints. Relevant techniques that probably handle this challenge more or less suffer from some intrinsic limitations. For example, knowledge distillation (KD) assumes that teacher and student models share the same task, training strategy, and model structure family, while prevalent parameter-efficient fine-tuning (PEFT) fails to achieve personalized and lightweight deployment. Even the combination of PEFT and KD still struggles to resolve model structures and training strategies inconsistencies between teacher and student models, leading to inefficient knowledge transfer. In this study, we propose a novel framework called Deep Reprogramming Distillation (DRD) to combat the general adaptation challenge. Specifically, DRD introduces the novel reprogramming module that on the one side overcomes the domain and task discrepancy between pretraining and downstream scenarios, and on the other side builds the student-friendly efficient distillation from foundation models to lightweight downstream models. Furthermore, to mitigate variability under different training conditions, we design a centered kernel alignment (CKA) distillation method to promote robust knowledge transfer. Empirical results show that DRD surpasses previous PEFT and KD methods across 18 medical downstream tasks under different foundation models, covering various scenarios including 2D/3D classification and 2D/3D segmentation.
• Abstract（参考訳）: 大規模データセットで事前訓練された医療基礎モデルは、強力な汎用性能を示している。 しかし、特定の医療シナリオに医療基盤モデルを適用する際には、トレーニング前タスクと下流タスクの相違、実世界の計算、速度制約によって引き起こされるギャップのために、避けられない課題である。 おそらくこの課題に対処する関連技術は、いくつかの本質的な制限に悩まされている。 例えば、知識蒸留(KD)では、教師と学生のモデルが同じタスク、トレーニング戦略、モデル構造ファミリを共有していると仮定する一方で、パラメータ効率のよい微調整(PEFT)はパーソナライズされた軽量なデプロイメントを達成できない。 PEFTとKDの組み合わせでさえ、教師と学生の間のモデル構造とトレーニング戦略の不整合の解決に苦慮しており、非効率な知識伝達につながっている。 本研究では,一般適応問題に対処するために,Deep Re programsming Distillation (DRD) と呼ばれる新しいフレームワークを提案する。 具体的には、DRDは、一方が事前学習と下流シナリオ間のドメインとタスクの相違を克服する新しいプログラミングモジュールを導入し、他方は、基礎モデルから軽量な下流モデルへの学生フレンドリーな効率的な蒸留を構築します。 さらに, 異なる訓練条件下での変動を緩和するために, 堅牢な知識伝達を促進するために, 中心核アライメント (CKA) 蒸留法を設計する。 実験の結果、DRDは2D/3D分類や2D/3Dセグメンテーションを含む様々なシナリオを網羅し、異なる基礎モデルの下で18の医療下流タスクにおいて、従来のPEFTおよびKDメソッドを超越していることが示された。

関連論文リスト

• DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
  DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである 本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-14T16:49:09Z)
• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• Reprogramming Distillation for Medical Foundation Models [37.52464627899668]
  我々はリプログラミング蒸留(RD)と呼ばれる新しいフレームワークを提案する。 RDはファンデーションモデルの本来の機能空間を再プログラミングし、下流のシナリオとより関係があるようにします。 RDは従来のPEFT法やKD法よりも優れた性能を実現している。
  論文  参考訳（メタデータ） (2024-07-09T02:17:51Z)
• Distilling Privileged Multimodal Information for Expression Recognition using Optimal Transport [46.91791643660991]
  マルチモーダル表現認識のための深層学習モデルは, 制御された実験室環境において顕著な性能を示した。 これらのモデルは、トレーニングに使用されるモダリティの可用性と品質のために、荒野で苦労する。 実際には、テスト時に利用できるのはトレーニング時モダリティのサブセットのみである。 特権情報による学習により、モデルはトレーニング中にのみ利用できる追加のモダリティからデータを利用することができる。
  論文  参考訳（メタデータ） (2024-01-27T19:44:15Z)
• Adaptive Training Meets Progressive Scaling: Elevating Efficiency in Diffusion Models [52.1809084559048]
  TDCトレーニングと呼ばれる新しい2段階分割型トレーニング戦略を提案する。 タスクの類似性と難易度に基づいてタイムステップをグループ化し、高度にカスタマイズされた復調モデルを各グループに割り当て、拡散モデルの性能を向上させる。 2段階のトレーニングでは、各モデルを個別にトレーニングする必要がなくなるが、総トレーニングコストは、単一の統合されたデノナイジングモデルをトレーニングするよりもさらに低い。
  論文  参考訳（メタデータ） (2023-12-20T03:32:58Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• Knowledge Distillation for Adaptive MRI Prostate Segmentation Based on Limit-Trained Multi-Teacher Models [4.711401719735324]
  圧縮法と加速技術として知識蒸留(KD)が提案されている。 KDは、負担の多いモデルから軽量モデルに知識を移行できる効率的な学習戦略である。 本研究では,KDに基づく前立腺MRIセグメンテーションの深部モデルを構築し,Kellback-Leiblerの発散,Lovasz,Diceの損失と特徴量に基づく蒸留を組み合わせる。
  論文  参考訳（メタデータ） (2023-03-16T17:15:08Z)
• Heterogeneous Knowledge Distillation using Information Flow Modeling [82.83891707250926]
  教師モデルの様々な層を流れる情報の流れをモデル化して機能する新しいKD手法を提案する。 提案手法は, トレーニング過程の異なる段階において, 適切な監督手法を用いて, 上記の制限を克服することができる。
  論文  参考訳（メタデータ） (2020-05-02T06:56:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。