論文の概要: Attention De-sparsification Matters: Inducing Diversity in Digital
Pathology Representation Learning
- arxiv url: http://arxiv.org/abs/2309.06439v1
- Date: Tue, 12 Sep 2023 17:59:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 11:52:58.197499
- Title: Attention De-sparsification Matters: Inducing Diversity in Digital
Pathology Representation Learning
- Title（参考訳）: 注意の分離:デジタル病理表現学習における多様性の誘発
- Authors: Saarthak Kapse, Srijan Das, Jingwei Zhang, Rajarsi R. Gupta, Joel
Saltz, Dimitris Samaras, Prateek Prasanna
- Abstract要約: DiRLは病理画像のための多様性誘導表現学習技術である。
我々は、ビュー間の複数の対応する表現にマッチするように設計されたSSLのための事前誘導された高密度プリテキストタスクを提案する。
- 参考スコア（独自算出の注目度）: 31.192429592497692
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose DiRL, a Diversity-inducing Representation Learning technique for
histopathology imaging. Self-supervised learning techniques, such as
contrastive and non-contrastive approaches, have been shown to learn rich and
effective representations of digitized tissue samples with limited pathologist
supervision. Our analysis of vanilla SSL-pretrained models' attention
distribution reveals an insightful observation: sparsity in attention, i.e,
models tends to localize most of their attention to some prominent patterns in
the image. Although attention sparsity can be beneficial in natural images due
to these prominent patterns being the object of interest itself, this can be
sub-optimal in digital pathology; this is because, unlike natural images,
digital pathology scans are not object-centric, but rather a complex phenotype
of various spatially intermixed biological components. Inadequate
diversification of attention in these complex images could result in crucial
information loss. To address this, we leverage cell segmentation to densely
extract multiple histopathology-specific representations, and then propose a
prior-guided dense pretext task for SSL, designed to match the multiple
corresponding representations between the views. Through this, the model learns
to attend to various components more closely and evenly, thus inducing adequate
diversification in attention for capturing context rich representations.
Through quantitative and qualitative analysis on multiple tasks across cancer
types, we demonstrate the efficacy of our method and observe that the attention
is more globally distributed.
- Abstract（参考訳）: 病理画像診断のための多様性誘導表現学習手法であるDiRLを提案する。
コントラスト的および非コントラスト的アプローチのような自己監督型学習技術は、限られた病理医監督でデジタル化された組織サンプルの豊かで効果的な表現を学習することが示されている。
注意のスパーシティ(sparsity in attention) すなわち、モデルがイメージ内のいくつかの顕著なパターンに注意を集中させる傾向があります。
これは自然画像とは異なり、デジタル病理スキャンはオブジェクト中心ではなく、むしろ様々な空間的混合生物学的成分の複雑な表現型であるためである。
これらの複雑な画像における注意の多様化の不十分さは、重要な情報損失をもたらす可能性がある。
これを解決するために,我々はセルセグメンテーションを活用して,複数の病理組織特異的な表現を密に抽出し,ビュー間の複数の対応する表現にマッチするように設計したSSLの事前誘導密接なプリテキストタスクを提案する。
これにより、モデルは、より緊密かつ均一に様々なコンポーネントに参加することを学習し、コンテキストリッチな表現をキャプチャするための適切な多様化を促す。
がんの種類をまたいだ複数のタスクの定量的および質的分析を通じて,本手法の有効性を実証し,注目がよりグローバルに分布していることを確認する。
関連論文リスト
- Histopathology image embedding based on foundation models features aggregation for patient treatment response prediction [0.0]
びまん性大細胞型B細胞リンパ腫患者に対する全スライド画像からの治療反応を予測する新しい方法を提案する。
本手法は, 組織小領域に対応する画像の局所的表現を得るために, 特徴抽出器としていくつかの基礎モデルを利用する。
本研究は152名の患者を対象とした実験で,本手法の有望な結果を示した。
論文 参考訳（メタデータ） (2024-07-23T13:31:12Z) - FMDNN: A Fuzzy-guided Multi-granular Deep Neural Network for Histopathological Image Classification [40.94024666952439]
ファジィ誘導多粒性ディープニューラルネットワーク(FMDNN)を提案する。
病理学者の多粒性診断アプローチに触発され, 粗さ, 培地, 微粒度における細胞構造の特徴抽出を行った。
ファジィ誘導型クロスアテンションモジュールは、普遍的なファジィ特徴を多粒性特徴へ導く。
論文 参考訳（メタデータ） (2024-07-22T00:46:15Z) - MLIP: Enhancing Medical Visual Representation with Divergence Encoder
and Knowledge-guided Contrastive Learning [48.97640824497327]
本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。
我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。
特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
論文 参考訳（メタデータ） (2024-02-03T05:48:50Z) - GraVIS: Grouping Augmented Views from Independent Sources for
Dermatology Analysis [52.04899592688968]
皮膚科画像から自己教師付き特徴を学習するために特に最適化されたGraVISを提案する。
GraVISは、病変のセグメンテーションと疾患分類のタスクにおいて、転送学習と自己教師型学習を著しく上回っている。
論文 参考訳（メタデータ） (2023-01-11T11:38:37Z) - Self-Supervised Vision Transformers Learn Visual Concepts in
Histopathology [5.164102666113966]
我々は、様々な弱い教師付きおよびパッチレベルのタスクに対する検証を行い、様々な自己教師付きモデルを訓練することにより、病理学における良い表現を探索する。
我々の重要な発見は、DINOベースの知識蒸留を用いたビジョントランスフォーマーが、組織像におけるデータ効率と解釈可能な特徴を学習できることを発見したことである。
論文 参考訳（メタデータ） (2022-03-01T16:14:41Z) - Towards Interpretable Attention Networks for Cervical Cancer Analysis [24.916577293892182]
複数の頸腺細胞の画像分類における最先端ディープラーニングモデルの評価を行った。
細胞群から重要な特徴を抽出するための残チャンネルアテンションモデルの有効性を示す。
また、子宮頸部細胞の分類に対処するための解釈可能なモデルも提供する。
論文 参考訳（メタデータ） (2021-05-27T13:28:24Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳（メタデータ） (2021-02-15T18:46:44Z) - Few-shot Medical Image Segmentation using a Global Correlation Network
with Discriminative Embedding [60.89561661441736]
医療画像分割のための新しい手法を提案する。
深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。
深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
論文 参考訳（メタデータ） (2020-12-10T04:01:07Z) - Attention Model Enhanced Network for Classification of Breast Cancer
Image [54.83246945407568]
AMENはマルチブランチ方式で、画素ワイドアテンションモデルとサブモジュールの分類で定式化される。
微妙な詳細情報に焦点を合わせるため、サンプル画像は、前枝から生成された画素対応の注目マップによって強化される。
3つのベンチマークデータセットで行った実験は、様々なシナリオにおいて提案手法の優位性を実証している。
論文 参考訳（メタデータ） (2020-10-07T08:44:21Z) - Supervision and Source Domain Impact on Representation Learning: A
Histopathology Case Study [6.762603053858596]
本研究では,表現学習領域におけるディープニューラルネットワークの性能と三重項損失について検討した。
病理画像の類似性や相違性について検討し,教師なし,半教師なし,教師付き学習との違いを比較した。
学習した表現を2つの異なる病理データセットに適用し,高い精度と一般化を実現した。
論文 参考訳（メタデータ） (2020-05-10T21:27:38Z) - Pathological Retinal Region Segmentation From OCT Images Using Geometric
Relation Based Augmentation [84.7571086566595]
本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。
提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
論文 参考訳（メタデータ） (2020-03-31T11:50:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。