論文の概要: Plug-and-Play Logit Fusion for Heterogeneous Pathology Foundation Models
- arxiv url: http://arxiv.org/abs/2604.07779v1
- Date: Thu, 09 Apr 2026 04:10:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-10 18:34:05.686868
- Title: Plug-and-Play Logit Fusion for Heterogeneous Pathology Foundation Models
- Title(参考訳): 不均一病態基盤モデルのためのプラグアンドプレイロジットフュージョン
- Authors: Gexin Huang, Anqi Li, Yusheng Tan, Beidi Zhao, Gang Wang, Gaozu Hua, Xiaoxiao Li,
- Abstract要約: 軽量で斬新なモデル融合戦略であるLogitProdを紹介する。
独立に訓練されたFMベースの予測器を固定専門家として扱い、スライドレベルの出力よりもサンプル適応型融合重みを学習する。
LogitProdは、まず20/22タスクにランク付けし、最強のシングルエキスパートに対して、全タスクの平均パフォーマンスを3%向上させる。
- 参考スコア(独自算出の注目度): 28.682541563931593
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Pathology foundation models (FMs) have become central to computational histopathology, offering strong transfer performance across a wide range of diagnostic and prognostic tasks. The rapid proliferation of pathology foundation models creates a model-selection bottleneck: no single model is uniformly best, yet exhaustively adapting and validating many candidates for each downstream endpoint is prohibitively expensive. We address this challenge with a lightweight and novel model fusion strategy, LogitProd, which treats independently trained FM-based predictors as fixed experts and learns sample-adaptive fusion weights over their slide-level outputs. The fusion operates purely on logits, requiring no encoder retraining and no feature-space alignment across heterogeneous backbones. We further provide a theoretical analysis showing that the optimal weighted product fusion is guaranteed to perform at least as well as the best individual expert under the training objective. We systematically evaluate LogitProd on \textbf{22} benchmarks spanning WSI-level classification, tile-level classification, gene mutation prediction, and discrete-time survival modeling. LogitProd ranks first on 20/22 tasks and improves the average performance across all tasks by ~3% over the strongest single expert. LogitProd enables practitioners to upgrade heterogeneous FM-based pipelines in a plug-and-play manner, achieving multi-expert gains with $\sim$12$\times$ lower training cost than feature-fusion alternatives.
- Abstract(参考訳): 病理基盤モデル(FM)は、様々な診断および予後タスクに強い伝達性能を提供する、計算病理学の中心となっている。
単一のモデルが一様に最適であるが、下流の各エンドポイントの多くの候補を徹底的に適応し、検証することは違法に高価である。
FMベースの予測器を独立した専門家として扱い、スライドレベルの出力に対してサンプル適応型融合重みを学習する軽量で斬新なモデル融合戦略であるLogitProdでこの問題に対処する。
融合は純粋にロジット上で動作し、エンコーダの再訓練は不要であり、異種バックボーン間の特徴空間アライメントは不要である。
さらに、最適重み付けされた製品融合が、トレーニング目標の下では、少なくとも最高の個人専門家と同様に実行されることが保証されていることを示す理論的分析を提供する。
我々は,WSIレベル分類,タイルレベル分類,遺伝子変異予測,離散時間生存モデルにまたがるベンチマークを用いて,LogitProdを体系的に評価した。
LogitProdは、まず20/22タスクにランク付けし、最強のシングルエキスパートよりも、全タスクの平均パフォーマンスを約3%向上させる。
LogitProdは、不均一なFMベースのパイプラインをプラグアンドプレイでアップグレードし、$\sim$12$\times$でマルチエキスパートゲインを達成する。
関連論文リスト
- One-for-All Model Initialization with Frequency-Domain Knowledge [33.90471312176688]
FRONT(FRequency dOmain kNowledge Transfer)は、Cosine Transform(DCT)を用いて低周波の"Lerngene"を単離する新しいフレームワークである。
FRONTは最先端のパフォーマンスを達成し、視覚タスクの収束を最大15倍加速し、FLOPのトレーニングを平均40.5%削減する。
論文 参考訳(メタデータ) (2026-03-08T08:25:49Z) - The Geometry of Transfer: Unlocking Medical Vision Manifolds for Training-Free Model Ranking [31.961181244685932]
本稿では, 統計重なりではなく, 多様体のトラクタビリティを評価するトポロジ駆動転送可能性推定フレームワークを提案する。
本手法は,重み付きケンドールの相対的改善率約6031%により,最先端のベースラインを著しく上回る。
論文 参考訳(メタデータ) (2026-02-27T11:04:15Z) - Improving Minimax Estimation Rates for Contaminated Mixture of Multinomial Logistic Experts via Expert Heterogeneity [49.809923981964715]
凍結したエキスパートとして機能する事前訓練されたモデルを、新しいタスクを学ぶためにトレーニング可能なエキスパートとして機能するアダプタモデルに統合するトランスファー学習手法によって、汚染された専門家の混合(MoE)が動機付けられる。
本研究は, 地絡パラメータがサンプルサイズによって異なる困難な条件下で, パラメータを推定するための一様収束率を特徴付ける。
また、対応するミニマックス下限を定め、これらのレートがミニマックス最適であることを保証する。
論文 参考訳(メタデータ) (2026-01-31T23:45:50Z) - MedSeqFT: Sequential Fine-tuning Foundation Models for 3D Medical Image Segmentation [55.37355146924576]
MedSeqFTは、医用画像解析のためのシーケンシャルな微調整フレームワークである。
事前訓練されたモデルを新しいタスクに適応させ、表現能力を改善する。
最先端の微調整戦略を一貫して上回ります。
論文 参考訳(メタデータ) (2025-09-07T15:22:53Z) - AdaFusion: Prompt-Guided Inference with Adaptive Fusion of Pathology Foundation Models [49.550545038402184]
本稿では,新しいプロンプト誘導推論フレームワークであるAdaFusionを提案する。
本手法は,多様なモデルからタイルレベルの特徴を圧縮・整列する。
AdaFusionは、分類タスクと回帰タスクの両方にわたって、個々のPFMを一貫して上回っている。
論文 参考訳(メタデータ) (2025-08-07T07:09:31Z) - Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。
従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。
本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
論文 参考訳(メタデータ) (2025-07-11T08:00:47Z) - Latent Space Data Fusion Outperforms Early Fusion in Multimodal Mental Health Digital Phenotyping Data [0.0]
うつ病や不安などの精神疾患は早期発見とパーソナライズされた介入の方法を改善する必要がある。
従来の予測モデルは、精神医学的なデータの複雑なマルチモーダルな性質を捉えるのに失敗する、単調なデータや初期の融合戦略に依存していることが多い。
日常的なうつ症状の予測のための中間的(相対的空間)核融合の評価を行った。
論文 参考訳(メタデータ) (2025-07-10T18:10:46Z) - CLIP Meets Diffusion: A Synergistic Approach to Anomaly Detection [49.11819337853632]
異常検出は、異常の定義の曖昧さ、異常型の多様性、トレーニングデータの不足による複雑な問題である。
識別的基盤モデルと生成的基礎モデルの両方を活用するCLIPfusionを提案する。
本手法は, 異常検出の多面的課題に対処する上で, マルチモーダル・マルチモデル融合の有効性を裏付けるものである。
論文 参考訳(メタデータ) (2025-06-13T13:30:15Z) - Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。
本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。
我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
論文 参考訳(メタデータ) (2025-05-21T07:16:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。