論文の概要: Deep Multiple Instance Learning with Distance-Aware Self-Attention

• arxiv url: http://arxiv.org/abs/2305.10552v2
• Date: Sat, 20 May 2023 12:45:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 02:15:09.152546
• Title: Deep Multiple Instance Learning with Distance-Aware Self-Attention
• Title（参考訳）: 距離認識型自己認識による深層マルチインスタンス学習
• Authors: Georg W\"olflein and Lucie Charlotte Magister and Pietro Li\`o and David J. Harrison and Ognjen Arandjelovi\'c
• Abstract要約: 距離認識型自己注意型MILモデル(DAS-MIL)を提案する。 離散的な自己注意のための既存の相対的な位置表現とは異なり、我々の手法は注意重みの計算に連続的な距離依存項を導入する。 MNISTをベースとしたカスタムMILデータセットと,CAMELYON16で利用可能な癌転移検出データセットであるCAMELYON16を用いて,本モデルの評価を行った。
• 参考スコア（独自算出の注目度）: 9.361964965928063
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional supervised learning tasks require a label for every instance in the training set, but in many real-world applications, labels are only available for collections (bags) of instances. This problem setting, known as multiple instance learning (MIL), is particularly relevant in the medical domain, where high-resolution images are split into smaller patches, but labels apply to the image as a whole. Recent MIL models are able to capture correspondences between patches by employing self-attention, allowing them to weigh each patch differently based on all other patches in the bag. However, these approaches still do not consider the relative spatial relationships between patches within the larger image, which is especially important in computational pathology. To this end, we introduce a novel MIL model with distance-aware self-attention (DAS-MIL), which explicitly takes into account relative spatial information when modelling the interactions between patches. Unlike existing relative position representations for self-attention which are discrete, our approach introduces continuous distance-dependent terms into the computation of the attention weights, and is the first to apply relative position representations in the context of MIL. We evaluate our model on a custom MNIST-based MIL dataset that requires the consideration of relative spatial information, as well as on CAMELYON16, a publicly available cancer metastasis detection dataset, where we achieve a test AUROC score of 0.91. On both datasets, our model outperforms existing MIL approaches that employ absolute positional encodings, as well as existing relative position representation schemes applied to MIL. Our code is available at https://anonymous.4open.science/r/das-mil.
• Abstract（参考訳）: 従来の教師付き学習タスクは、トレーニングセットのすべてのインスタンスにラベルを必要とするが、多くの現実世界のアプリケーションでは、ラベルはインスタンスのコレクション(バグ)にのみ利用できる。 多重インスタンス学習(MIL)として知られるこの問題は、高解像度画像を小さなパッチに分割する医療領域において特に重要であるが、ラベルは画像全体に適用される。 最近のMILモデルは、自己注意を用いてパッチ間の対応をキャプチャすることができ、バッグ内の他のすべてのパッチに基づいて各パッチを異なる量にすることができる。 しかしながら、これらのアプローチは大きな画像内のパッチ間の相対的な空間的関係を考慮せず、特に計算病理学において重要である。 そこで,本稿では,パッチ間の相互作用をモデル化する際に,相対的な空間情報を明示的に考慮した距離認識セルフアテンション(das-mil)を備えた新しいmilモデルを提案する。 離散的な自己注意のための既存の相対的位置表現とは異なり、我々の手法は注意重みの計算に連続的な距離依存項を導入し、MILの文脈で相対的位置表現を初めて適用した。 本研究では,相対的な空間情報の考慮を必要とするカスタムmnistベースのmilデータセットと,がん転移検出データセットであるcamlyon16を用いて,aurocスコアを0.01で評価した。 両モデルとも、絶対位置符号化を用いた既存のMIL手法と、MILに適用された既存の相対位置表現方式より優れている。 私たちのコードはhttps://anonymous.4open.science/r/das-milで利用可能です。

関連論文リスト

• Attention Is Not What You Need: Revisiting Multi-Instance Learning for Whole Slide Image Classification [51.95824566163554]
  我々は,標準MIL仮定と変分推論を相乗化することにより,スプリアス相関ではなく腫瘍形態学に焦点を合わせることができると主張している。 また, ハードインスタンスの識別に優れた分類境界を実現し, バッグとラベルの相互関係を緩和する。
  論文  参考訳（メタデータ） (2024-08-18T12:15:22Z)
• MamMIL: Multiple Instance Learning for Whole Slide Images with State Space Models [56.37780601189795]
  本稿では,WSI分析のためのフレームワークMamMILを提案する。 私たちは各WSIを非指向グラフとして表現します。 マンバが1次元シーケンスしか処理できない問題に対処するために、トポロジ対応の走査機構を提案する。
  論文  参考訳（メタデータ） (2024-03-08T09:02:13Z)
• Reproducibility in Multiple Instance Learning: A Case For Algorithmic Unit Tests [59.623267208433255]
  多重インスタンス学習(MIL)は、正と負のラベルと入力の「バグ」を持つ分類問題のサブドメインである。 本研究では,最も顕著な深層MILモデルの5つについて検討し,いずれも標準MILの仮定を尊重していないことを明らかにする。 提案した"アルゴリズムユニットテスト"によってこの問題を特定し,実証する。そこでは,MILを尊重するモデルによって解決可能な,合成データセットを作成する。
  論文  参考訳（メタデータ） (2023-10-27T03:05:11Z)
• RoFormer for Position Aware Multiple Instance Learning in Whole Slide Image Classification [0.0]
  全スライド画像(WSI)分類は、計算病理学において重要な課題である。 現在の手法は、凍結した特徴抽出器を備えたMIL(Multiple-instance Learning)モデルに依存している。 本手法は,弱い教師付き分類タスクにおいて,最先端のMILモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-03T09:59:59Z)
• Smooth Attention for Deep Multiple Instance Learning: Application to CT Intracranial Hemorrhage Detection [17.27358760040812]
  マルチインスタンスラーニング(MIL)は、バッグラベルが知られ、バッグ内のインスタンスラベルが不明な医療画像診断に広く応用されている。 本研究では,スムーズな注意深度MIL(SA-DMIL)モデルを提案する。 スムースネスは、バッグ内の各インスタンスに支払われた注意を符号化する潜在関数に、第1および第2の制約を導入することによって達成される。
  論文  参考訳（メタデータ） (2023-07-18T17:38:04Z)
• TPMIL: Trainable Prototype Enhanced Multiple Instance Learning for Whole Slide Image Classification [13.195971707693365]
  我々は、弱い教師付きWSI分類のための訓練可能なプロトタイプ強化深層MILフレームワークを開発した。 本手法により, 異なる腫瘍のサブタイプ間の相関関係を明らかにすることができる。 提案手法を2つのWSIデータセット上でテストし,新たなSOTAを実現する。
  論文  参考訳（メタデータ） (2023-05-01T07:39:19Z)
• Active Learning Enhances Classification of Histopathology Whole Slide Images with Attention-based Multiple Instance Learning [48.02011627390706]
  我々は、注意に基づくMILをトレーニングし、データセット内の各画像に対する信頼度を算出し、専門家のアノテーションに対して最も不確実なWSIを選択する。 新たな注意誘導損失により、各クラスにアノテートされた領域がほとんどない、トレーニングされたモデルの精度が向上する。 将来的には、病理組織学における癌分類の臨床的に関連する文脈において、MILモデルのトレーニングに重要な貢献をする可能性がある。
  論文  参考訳（メタデータ） (2023-03-02T15:18:58Z)
• Feature Re-calibration based MIL for Whole Slide Image Classification [7.92885032436243]
  全スライド画像(WSI)分類は疾患の診断と治療の基本的な課題である。 本稿では,WSI バッグ (インスタンス) の分布を,最大インスタンス (クリティカル) 特性の統計値を用いて再校正することを提案する。 位置符号化モジュール(PEM)を用いて空間・形態情報をモデル化し,マルチヘッド自己アテンション(PSMA)をトランスフォーマーエンコーダでプーリングする。
  論文  参考訳（メタデータ） (2022-06-22T07:00:39Z)
• Dual-stream Multiple Instance Learning Network for Whole Slide Image Classification with Self-supervised Contrastive Learning [16.84711797934138]
  スライド画像全体分類(WSI)の課題に対処する。 WSI分類は、スライドレベルラベルのみが利用可能である場合、多重インスタンス学習(MIL)問題としてキャストすることができる。 局所アノテーションを必要としないWSI分類と腫瘍検出のためのMILベースの手法を提案する。
  論文  参考訳（メタデータ） (2020-11-17T20:51:15Z)
• Memory-Augmented Relation Network for Few-Shot Learning [114.47866281436829]
  本研究では,新しい距離学習手法であるメモリ拡張リレーショナルネットワーク(MRN)について検討する。 MRNでは、作業状況と視覚的に類似したサンプルを選択し、重み付け情報伝搬を行い、選択したサンプルから有用な情報を注意深く集約し、その表現を強化する。 我々は、MRNが祖先よりも大幅に向上し、他の数発の学習手法と比較して、競争力や性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-05-09T10:09:13Z)
• Improving Few-shot Learning by Spatially-aware Matching and CrossTransformer [116.46533207849619]
  数ショット学習シナリオにおけるスケールと位置ミスマッチの影響について検討する。 本稿では,複数のスケールや場所のマッチングを効果的に行うための,空間認識型マッチング手法を提案する。
  論文  参考訳（メタデータ） (2020-01-06T14:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。