論文の概要: Distilling foundation models for robust and efficient models in digital pathology

• arxiv url: http://arxiv.org/abs/2501.16239v2
• Date: Tue, 28 Jan 2025 17:09:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-29 13:21:26.409674
• Title: Distilling foundation models for robust and efficient models in digital pathology
• Title（参考訳）: デジタル病理学におけるロバスト・効率的モデルの蒸留基礎モデル
• Authors: Alexandre Filiot, Nicolas Dop, Oussama Tchita, Auriane Riou, Rémy Dubois, Thomas Peeters, Daria Valter, Marin Scalbert, Charlie Saillard, Geneviève Robin, Antoine Olivier,
• Abstract要約: 大規模基礎モデルをより小さく蒸留し,数桁のパラメータ数を削減した。 我々のモデルであるH0-miniは、推定コストを大幅に削減して、大規模FMにほぼ匹敵する性能を実現する。 いくつかの公開ベンチマークで評価され、HESTベンチマークで3位、EVAベンチマークで5位となった。
• 参考スコア（独自算出の注目度）: 32.99044401004595
• License:
• Abstract: In recent years, the advent of foundation models (FM) for digital pathology has relied heavily on scaling the pre-training datasets and the model size, yielding large and powerful models. While it resulted in improving the performance on diverse downstream tasks, it also introduced increased computational cost and inference time. In this work, we explore the distillation of a large foundation model into a smaller one, reducing the number of parameters by several orders of magnitude. Leveraging distillation techniques, our distilled model, H0-mini, achieves nearly comparable performance to large FMs at a significantly reduced inference cost. It is evaluated on several public benchmarks, achieving 3rd place on the HEST benchmark and 5th place on the EVA benchmark. Additionally, a robustness analysis conducted on the PLISM dataset demonstrates that our distilled model reaches excellent robustness to variations in staining and scanning conditions, significantly outperforming other state-of-the art models. This opens new perspectives to design lightweight and robust models for digital pathology, without compromising on performance.
• Abstract（参考訳）: 近年、デジタル病理学の基礎モデル(FM)の出現は、事前学習データセットとモデルサイズをスケールアップすることに大きく依存し、大規模で強力なモデルを生み出している。 その結果、様々な下流タスクのパフォーマンスが向上したが、計算コストと推論時間も向上した。 本研究では, 大規模基礎モデルの蒸留を小さくし, 数桁のパラメータ数を削減した。 蒸留技術を利用して, 蒸留モデルであるH0-miniは, 推算コストを大幅に削減し, 大容量FMとほぼ同等の性能を発揮する。 いくつかの公開ベンチマークで評価され、HESTベンチマークで3位、EVAベンチマークで5位となった。 さらに, PLISMデータセットを用いたロバストネス解析により, 蒸留モデルが染色条件や走査条件の変動に優れたロバストネスを達成し, 他の最先端技術モデルよりも顕著に優れた性能を示した。 これにより、パフォーマンスを損なうことなく、デジタル病理学のための軽量で堅牢なモデルを設計する新たな視点が開かれる。

関連論文リスト

• Fine-Tuning Image-Conditional Diffusion Models is Easier than You Think [53.2706196341054]
  認識された非効率性は、これまで気付かれなかった推論パイプラインの欠陥によって引き起こされたことを示している。 タスク固有の損失を伴う単一ステップモデル上でエンドツーエンドの微調整を行い、他の拡散に基づく深さモデルや正規推定モデルよりも優れた決定論的モデルを得る。
  論文  参考訳（メタデータ） (2024-09-17T16:58:52Z)
• Using Generative Models to Produce Realistic Populations of the United Kingdom Windstorms [0.0]
  論文は、現実的な合成風速データを生成するための生成モデルの適用を探求する。 標準的なGAN、WGAN-GP、U-net拡散モデルを含む3つのモデルを使用して、イギリスの風図を作成した。 その結果、全てのモデルが一般的な空間特性を捉えるのに有効であるが、それぞれのモデルは異なる強みと弱みを示すことが明らかとなった。
  論文  参考訳（メタデータ） (2024-09-16T19:53:33Z)
• Structured Model Pruning for Efficient Inference in Computational Pathology [2.9687381456164004]
  バイオメディカルイメージングにおいて広く使われているU-Netスタイルのアーキテクチャを解析する手法を開発した。 我々は,プルーニングが性能を低下させることなく,少なくとも70%圧縮できることを実証的に実証した。
  論文  参考訳（メタデータ） (2024-04-12T22:05:01Z)
• On the Impact of Sampling on Deep Sequential State Estimation [17.92198582435315]
  逐次モデルにおける状態推定とパラメータ学習は近似手法を用いてうまく行うことができる。 モンテカルロの厳密な目的は、生成的モデリング性能を向上させるために文献で提案されている。
  論文  参考訳（メタデータ） (2023-11-28T17:59:49Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Foundation Models for Generalist Geospatial Artificial Intelligence [3.7002058945990415]
  本稿では,大規模データに基づく基礎モデルの事前学習と微調整を効果的に行うための第1種フレームワークを提案する。 我々はこの枠組みを利用して、マルチスペクトル衛星画像の1TB以上を事前トレーニングしたトランスフォーマーベースの基礎モデルであるPrithviを開発した。
  論文  参考訳（メタデータ） (2023-10-28T10:19:55Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• A Comparative Study on Energy Consumption Models for Drones [4.660172505713055]
  我々は、その物理的挙動から派生したドローンの5つの最も人気のあるエネルギー消費モデルをベンチマークする。 本稿では,Long Short-Term Memory (LSTM) に基づくディープラーニングアーキテクチャを用いた新しいデータ駆動型エネルギーモデルを提案する。 実験の結果,LSTMに基づくアプローチは,研究中のデータセットに対して,他の数学的モデルよりも容易に優れていることがわかった。
  論文  参考訳（メタデータ） (2022-05-30T23:05:32Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future [73.03458424369657]
  公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。 過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。 我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
  論文  参考訳（メタデータ） (2021-06-08T14:48:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。