論文の概要: ASMIL: Attention-Stabilized Multiple Instance Learning for Whole Slide Imaging
- arxiv url: http://arxiv.org/abs/2603.06658v1
- Date: Sun, 01 Mar 2026 18:31:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-10 15:13:12.601637
- Title: ASMIL: Attention-Stabilized Multiple Instance Learning for Whole Slide Imaging
- Title(参考訳): ASMIL: 全スライド画像のための注意安定型マルチインスタンス学習
- Authors: Linfeng Ye, Shayan Mohajer Hamidi, Zhixiang Chi, Guang Li, Mert Pilanci, Takahiro Ogawa, Miki Haseyama, Konstantinos N. Plataniotis,
- Abstract要約: 注意に基づく複数インスタンス学習手法は、不安定な注意力学という新しい障害モードを示す。
本稿では,新しい統合フレームワークであるASMIL(At attention-stabilized multiple instance learning)を紹介する。
ASMILはアンカーモデルを用いて注意を安定させ、ソフトマックスをアンカー内の正規化シグモイド関数に置き換えて過集中を防ぐ。
- 参考スコア(独自算出の注目度): 95.36377714370325
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Attention-based multiple instance learning (MIL) has emerged as a powerful framework for whole slide image (WSI) diagnosis, leveraging attention to aggregate instance-level features into bag-level predictions. Despite this success, we find that such methods exhibit a new failure mode: unstable attention dynamics. Across four representative attention-based MIL methods and two public WSI datasets, we observe that attention distributions oscillate across epochs rather than converging to a consistent pattern, degrading performance. This instability adds to two previously reported challenges: overfitting and over-concentrated attention distribution. To simultaneously overcome these three limitations, we introduce attention-stabilized multiple instance learning (ASMIL), a novel unified framework. ASMIL uses an anchor model to stabilize attention, replaces softmax with a normalized sigmoid function in the anchor to prevent over-concentration, and applies token random dropping to mitigate overfitting. Extensive experiments demonstrate that ASMIL achieves up to a 6.49\% F1 score improvement over state-of-the-art methods. Moreover, integrating the anchor model and normalized sigmoid into existing attention-based MIL methods consistently boosts their performance, with F1 score gains up to 10.73\%. All code and data are publicly available at https://github.com/Linfeng-Ye/ASMIL.
- Abstract(参考訳): Attention-based multiple instance learning (MIL) は、スライディングイメージ全体(WSI)診断のための強力なフレームワークとして登場し、バッグレベルの予測にインスタンスレベルの機能を集約することに注意を払っている。
この成功にもかかわらず、このような手法は、不安定な注意力学という新しい障害モードを示す。
4つの代表的な注意ベースMIL法と2つのWSIデータセットを用いて、注意分布が一貫したパターンに収束するのではなく、エポック間で変動し、性能が低下するのを観察した。
この不安定さは、過度な適合と過度に集中した注意分布という、以前に報告された2つの課題に結びつく。
これら3つの制約を同時に克服するために,新しい統合フレームワークである注意安定型マルチインスタンス学習(ASMIL)を導入する。
ASMILはアンカーモデルを用いて注意を安定させ、ソフトマックスをアンカー内の正規化シグモイド関数に置き換えて過集中を防ぐ。
大規模な実験により、ASMILは最先端の手法よりも6.49\% F1スコアの改善を達成できることが示された。
さらに、アンカーモデルと正規化シグモイドを既存のアテンションベースのMILメソッドに統合すると、F1スコアは最大10.73\%向上する。
すべてのコードとデータはhttps://github.com/Linfeng-Ye/ASMILで公開されている。
関連論文リスト
- vAttention: Verified Sparse Attention [100.98210818821688]
vAttentionは、ユーザが指定した$(epsilon, delta)$の近似精度保証(thus, confirmed)を備えた実用的なスパースアテンションメカニズムである。
vAttentionはデータセット間のスパースアテンションの質を大幅に改善することを示す。
モデルの品質を損なうことなく高速なデコードを実現するために、推論シナリオにデプロイすることができる。
論文 参考訳(メタデータ) (2025-10-07T08:46:08Z) - Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free [81.65559031466452]
我々は、ゲーティング強化ソフトマックスアテンションの変種を調べる実験を行った。
SDPA(Scaled Dot-Product Attention)後の頭部特異的シグモイドゲートを簡易に修正することで,性能が向上することがわかった。
論文 参考訳(メタデータ) (2025-05-10T17:15:49Z) - Position: From Correlation to Causation: Max-Pooling-Based Multi-Instance Learning Leads to More Robust Whole Slide Image Classification [51.95824566163554]
我々は、十分に訓練された最大プーリングに基づくMILモデルが因果関係に基づく予測を行い、素早い相関に頼らずにすむことを論じる。
提案手法は,2つのデータセットにおいて,既存の注目度に基づく手法よりも優れている。
論文 参考訳(メタデータ) (2024-08-18T12:15:22Z) - Towards Efficient Information Fusion: Concentric Dual Fusion Attention Based Multiple Instance Learning for Whole Slide Images [2.428210413498989]
本稿では,CDFA-MIL(Concentric Dual Fusion Attention-MIL)フレームワークを紹介する。
CDFA-MILは、同心パッチを用いて、ポイント・ツー・ゾーン・アテンションとポイント・ツー・ポイント・コンセントリック・アテンションを組み合わせたものである。
そのアプリケーションは例外的な性能を示しており、既存のMILメソッドの精度と、著名なデータセットのF1スコアを大きく上回っている。
論文 参考訳(メタデータ) (2024-03-21T12:23:29Z) - Slot-Mixup with Subsampling: A Simple Regularization for WSI
Classification [13.286360560353936]
全スライド画像 (WSI) の分類は, がんの診断に関係のある症例は少ないが, 病理医には繰り返しズームイン, アウトが必要である。
パッチレベルのラベルがないため、多重インスタンス学習(MIL)はWSI分類器をトレーニングするための一般的なプラクティスである。
MIL for WSIsの課題の1つは、スライドレベルのラベルから来る弱い監督力であり、しばしば過度なオーバーフィッティングをもたらすことである。
我々のアプローチは、元のスライドの基盤となるセマンティクスを著しく変更することなく、WSIのパッチのサブセットをサンプリングすることで、トレーニングデータセットを強化します。
論文 参考訳(メタデータ) (2023-11-29T09:18:39Z) - Attention-Challenging Multiple Instance Learning for Whole Slide Image Classification [12.424186320807888]
ACMIL(Attention-Challenging MIL)を提案する。
ACMILは、注意値集中のための別個の分析に基づく2つの手法を組み合わせる。
本稿では,ACMILが注目値の集中を抑え,過度に適合する課題を克服する上で有効であることを示す。
論文 参考訳(メタデータ) (2023-11-13T07:34:53Z) - ANIMC: A Soft Framework for Auto-weighted Noisy and Incomplete
Multi-view Clustering [59.77141155608009]
本稿では, ソフトな自己重み付き戦略と2倍のソフトな正規回帰モデルを用いて, 自動重み付きノイズと不完全なマルチビュークラスタリングフレームワーク(ANIMC)を提案する。
ANIMCには3つの独特な利点がある: 1) 異なるシナリオでフレームワークを調整し、その一般化能力を向上させるソフトアルゴリズム、2) 各ビューに対する適切な重み付けを自動的に学習し、ノイズの影響を低減し、3) 異なるビューで同じインスタンスを整列させ、欠落したインスタンスの影響を減少させる。
論文 参考訳(メタデータ) (2020-11-20T10:37:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。