論文の概要: Mixture of Mini Experts: Overcoming the Linear Layer Bottleneck in Multiple Instance Learning
- arxiv url: http://arxiv.org/abs/2603.22198v1
- Date: Mon, 23 Mar 2026 16:57:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-24 19:11:39.799976
- Title: Mixture of Mini Experts: Overcoming the Linear Layer Bottleneck in Multiple Instance Learning
- Title（参考訳）: ミニエキスパートの混在: 複数インスタンス学習における線形層ボツネックの克服
- Authors: Daniel Shao, Joel Runevic, Richard J. Chen, Drew F. K. Williamson, Ahrong Kim, Andrew H. Song, Faisal Mahmood,
- Abstract要約: MIL(Multiple Instance Learning)は、ギガピクセル全体の画像を計算病理学で分類する主要なフレームワークである。
MAMMOTHは,パラメータの総数に対して最小限の変更を施した任意のMILモデルの性能向上を図ったモジュールである。
全体として、MAMMOTHは152の検査済み構成のうち130でパフォーマンスを改善し、平均的なパフォーマンスは3.8%である。
- 参考スコア（独自算出の注目度）: 14.045117515955967
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Multiple Instance Learning (MIL) is the predominant framework for classifying gigapixel whole-slide images in computational pathology. MIL follows a sequence of 1) extracting patch features, 2) applying a linear layer to obtain task-specific patch features, and 3) aggregating the patches into a slide feature for classification. While substantial efforts have been devoted to optimizing patch feature extraction and aggregation, none have yet addressed the second point, the critical layer which transforms general-purpose features into task-specific features. We hypothesize that this layer constitutes an overlooked performance bottleneck and that stronger representations can be achieved with a low-rank transformation tailored to each patch's phenotype, yielding synergistic effects with any of the existing MIL approaches. To this end, we introduce MAMMOTH, a parameter-efficient, multi-head mixture of experts module designed to improve the performance of any MIL model with minimal alterations to the total number of parameters. Across eight MIL methods and 19 different classification tasks, we find that such task-specific transformation has a larger effect on performance than the choice of aggregation method. For instance, when equipped with MAMMOTH, even simple methods such as max or mean pooling attain higher average performance than any method with the standard linear layer. Overall, MAMMOTH improves performance in 130 of the 152 examined configurations, with an average $+3.8\%$ change in performance. Code is available at https://github.com/mahmoodlab/mammoth.
- Abstract（参考訳）: MIL(Multiple Instance Learning)は、ギガピクセル全体の画像を計算病理学で分類する主要なフレームワークである。
MILは一連の順序に従う
1)パッチの特徴を抽出する。
2 作業特化パッチの特徴を得るために線状層を適用すること、及び
3) 分類のために、パッチをスライド機能に集約する。
パッチ機能抽出とアグリゲーションの最適化に多大な努力が注がれているが、汎用機能をタスク固有の機能に変換する重要なレイヤである2番目のポイントには、まだ対応していない。
我々は、この層が見過ごされたパフォーマンスボトルネックを構成し、各パッチの表現型に合わせて、より強力な表現が低ランク変換によって達成され、既存のMILアプローチと相乗効果が得られると仮定する。
そこで本研究では,パラメータの総数に対して最小限の変更を施したMILモデルの性能向上を目的とした,パラメータ効率のよいマルチヘッド混合モジュールであるMAMMOTHを紹介する。
8つのMILメソッドと19の異なる分類タスクに対して、そのようなタスク固有の変換が集約方法の選択よりもパフォーマンスに大きな影響を与えることが判明した。
例えば、MAMMOTHを搭載している場合、最大値や平均プーリングのような単純な方法でさえ、標準的な線形層を持つどの方法よりも平均的な性能が得られる。
全体として、MAMMOTHは152の検査済み構成のうち130でパフォーマンスを改善し、平均的なパフォーマンスは3.8 %である。
コードはhttps://github.com/mahmoodlab/mammoth.comで入手できる。
関連論文リスト
- EfficientMIL: Efficient Linear-Complexity MIL Method for WSI Classification [7.789973233645291]
パッチ選択モジュールAdaptive Patch Selector (APS) を用いた全スライド画像(WSI)分類のための新しい線形複雑MIL手法であるEfficientMILを導入する。
効率的なMILは、複数の病理組織学データセットにまたがる他のMIL法よりも優れた計算効率の向上を実現している。
論文 参考訳（メタデータ） (2025-09-28T04:47:11Z) - AHDMIL: Asymmetric Hierarchical Distillation Multi-Instance Learning for Fast and Accurate Whole-Slide Image Classification [51.525891360380285]
AHDMILは非対称な階層的蒸留マルチインスタンス学習フレームワークである。
2段階のトレーニングプロセスを通じて、無関係なパッチを排除します。
分類性能と推論速度の両方において、従来の最先端手法を一貫して上回っている。
論文 参考訳（メタデータ） (2025-08-07T07:47:16Z) - Reducing Variability of Multiple Instance Learning Methods for Digital Pathology [2.9284034606635267]
デジタル病理学は、組織サンプルを全スライド画像(WSI)にデジタル化することで、この分野に革命をもたらした。
WSIは、しばしばグローバルラベルで小さなパッチに分割される。
MIL法はWSI分類に適した解法として登場した。
論文 参考訳（メタデータ） (2025-06-30T22:10:24Z) - MsaMIL-Net: An End-to-End Multi-Scale Aware Multiple Instance Learning Network for Efficient Whole Slide Image Classification [0.7510165488300369]
バグベースのMIL(Multiple Instance Learning)アプローチが、WSI(Whole Slide Image)分類の主流方法論として登場した。
本稿では,マルチスケール特徴抽出と複数インスタンス学習を統合したエンドツーエンドのWSI分類フレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-11T16:16:44Z) - Fast and Accurate Gigapixel Pathological Image Classification with Hierarchical Distillation Multi-Instance Learning [51.525891360380285]
HDMILは階層的な蒸留マルチインスタンス学習フレームワークであり、無関係なパッチを排除して高速かつ正確な分類を実現する。
HDMILは、動的マルチインスタンスネットワーク(DMIN)と軽量インスタンスプレスクリーンネットワーク(LIPN)の2つの重要なコンポーネントで構成されている。
論文 参考訳（メタデータ） (2025-02-28T15:10:07Z) - ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳（メタデータ） (2024-12-11T12:31:30Z) - SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である
本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。
実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2024-05-23T16:21:48Z) - Improving Pixel-based MIM by Reducing Wasted Modeling Capability [77.99468514275185]
浅い層から低レベルの特徴を明示的に利用して画素再構成を支援する手法を提案する。
私たちの知る限りでは、等方的アーキテクチャのためのマルチレベル特徴融合を体系的に研究するのは、私たちは初めてです。
提案手法は, 微調整では1.2%, 線形探索では2.8%, セマンティックセグメンテーションでは2.6%など, 大幅な性能向上をもたらす。
論文 参考訳（メタデータ） (2023-08-01T03:44:56Z) - Feature Re-calibration based MIL for Whole Slide Image Classification [7.92885032436243]
全スライド画像(WSI)分類は疾患の診断と治療の基本的な課題である。
本稿では,WSI バッグ (インスタンス) の分布を,最大インスタンス (クリティカル) 特性の統計値を用いて再校正することを提案する。
位置符号化モジュール(PEM)を用いて空間・形態情報をモデル化し,マルチヘッド自己アテンション(PSMA)をトランスフォーマーエンコーダでプーリングする。
論文 参考訳（メタデータ） (2022-06-22T07:00:39Z) - Online Multi-Object Tracking and Segmentation with GMPHD Filter and
Mask-based Affinity Fusion [79.87371506464454]
本稿では,インスタンス分割結果を入力として利用するMOTS法を提案する。
提案手法は,ガウス混合確率仮説密度 (GMPHD) フィルタ,階層型データアソシエーション (HDA) モデル,マスクベース親和性融合 (MAF) モデルに基づく。
2つの人気のあるMOTSデータセットの実験では、主要なモジュールがいくつかの改善点を示している。
論文 参考訳（メタデータ） (2020-08-31T21:06:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。