論文の概要: AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context
Processing for Representation Learning of Giga-pixel Images
- arxiv url: http://arxiv.org/abs/2303.00865v2
- Date: Wed, 5 Jul 2023 13:25:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-06 22:58:02.013806
- Title: AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context
Processing for Representation Learning of Giga-pixel Images
- Title（参考訳）: AMIGO:ギガピクセル画像の表現学習のための共有コンテキスト処理付きスパースマルチモードグラフ変換器
- Authors: Ramin Nakhli, Puria Azadi Moghadam, Haoyang Mi, Hossein Farahani,
Alexander Baras, Blake Gilks, Ali Bashashati
- Abstract要約: 本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。
AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。
我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
- 参考スコア（独自算出の注目度）: 53.29794593104923
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Processing giga-pixel whole slide histopathology images (WSI) is a
computationally expensive task. Multiple instance learning (MIL) has become the
conventional approach to process WSIs, in which these images are split into
smaller patches for further processing. However, MIL-based techniques ignore
explicit information about the individual cells within a patch. In this paper,
by defining the novel concept of shared-context processing, we designed a
multi-modal Graph Transformer (AMIGO) that uses the celluar graph within the
tissue to provide a single representation for a patient while taking advantage
of the hierarchical structure of the tissue, enabling a dynamic focus between
cell-level and tissue-level information. We benchmarked the performance of our
model against multiple state-of-the-art methods in survival prediction and
showed that ours can significantly outperform all of them including
hierarchical Vision Transformer (ViT). More importantly, we show that our model
is strongly robust to missing information to an extent that it can achieve the
same performance with as low as 20% of the data. Finally, in two different
cancer datasets, we demonstrated that our model was able to stratify the
patients into low-risk and high-risk groups while other state-of-the-art
methods failed to achieve this goal. We also publish a large dataset of
immunohistochemistry images (InUIT) containing 1,600 tissue microarray (TMA)
cores from 188 patients along with their survival information, making it one of
the largest publicly available datasets in this context.
- Abstract（参考訳）: ギガピクセル全体のslide histopathology images (wsi)の処理は計算コストのかかる作業である。
複数インスタンス学習(MIL)は、WSIを処理するための従来のアプローチとなり、これらのイメージは、さらなる処理のためにより小さなパッチに分割される。
しかし、MILベースの手法はパッチ内の個々の細胞についての明示的な情報を無視する。
本稿では,共有コンテキスト処理の新しい概念を定義することにより,組織内のセルナーグラフを用いて,組織階層構造を生かしながら患者に対して単一の表現を提供するマルチモーダルグラフトランスフォーマ(amigo)を考案し,細胞レベルと組織レベルの情報のダイナミックなフォーカスを可能にした。
我々はサバイバル予測における複数の最先端手法に対するモデルの性能をベンチマークし,階層的ビジョントランスフォーマー (vit) を含む全手法を有意に上回ることを示した。
さらに重要なことは、我々のモデルは欠落した情報に対して強い堅牢性を示し、20%の低いデータで同じパフォーマンスを達成できることを示しています。
最後に、2つの異なるがんデータセットにおいて、我々のモデルが患者を低リスク群と高リスク群に分類できることを示した。
また,188例の組織マイクロアレイ(TMA)コアと生存情報を含む免疫組織化学画像(InUIT)の大規模なデータセットも公開し,この文脈で最大の公開データセットの1つである。
関連論文リスト
- Masked LoGoNet: Fast and Accurate 3D Image Analysis for Medical Domain [48.440691680864745]
我々はLoGoNetと呼ばれる新しいニューラルネットワークアーキテクチャを導入する。
LoGoNetは、LKA(Large Kernel Attention)とデュアルエンコーディング戦略を利用して、U字型アーキテクチャに新しい特徴抽出器を統合する。
大規模ラベル付きデータセットの欠如を補うために,3次元画像に適した新しいSSL方式を提案する。
論文 参考訳（メタデータ） (2024-02-09T05:06:58Z) - Additional Look into GAN-based Augmentation for Deep Learning COVID-19
Image Classification [57.1795052451257]
我々は,GANに基づく拡張性能のデータセットサイズ依存性について,小サンプルに着目して検討した。
両方のセットでStyleGAN2-ADAをトレーニングし、生成した画像の品質を検証した後、マルチクラス分類問題における拡張アプローチの1つとしてトレーニングされたGANを使用する。
GANベースの拡張アプローチは、中規模および大規模データセットでは古典的な拡張に匹敵するが、より小さなデータセットでは不十分である。
論文 参考訳（メタデータ） (2024-01-26T08:28:13Z) - Connecting the Dots: Graph Neural Network Powered Ensemble and
Classification of Medical Images [0.0]
医療画像の深層学習は、大量のトレーニングデータを必要とするため、制限されている。
画像フォレスティング変換を用いて、画像を最適にスーパーピクセルに分割する。
これらのスーパーピクセルはその後、グラフ構造化データに変換され、特徴の巧妙な抽出と関係のモデリングを可能にする。
論文 参考訳（メタデータ） (2023-11-13T13:20:54Z) - Gene-induced Multimodal Pre-training for Image-omic Classification [20.465959546613554]
本稿では、ゲノム情報と全スライド画像(WSI)を併用した遺伝子誘導型マルチモーダル事前学習フレームワークを提案する。
TCGAデータセットによる実験結果から,ネットワークアーキテクチャと事前学習フレームワークの優位性が示され,画像-オミクス分類の精度は99.47%に達した。
論文 参考訳（メタデータ） (2023-09-06T04:30:15Z) - LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical
Imaging via Second-order Graph Matching [59.01894976615714]
LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。
55の公開データセットから約13万の医療画像を収集しました。
LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
論文 参考訳（メタデータ） (2023-06-20T22:21:34Z) - Hierarchical Transformer for Survival Prediction Using Multimodality
Whole Slide Images and Genomics [63.76637479503006]
下流タスクのためのギガピクセルレベルのスライド病理画像(WSI)の良質な表現を学習することが重要である。
本稿では,病理画像と対応する遺伝子間の階層的マッピングを学習する階層型マルチモーダルトランスフォーマーフレームワークを提案する。
より優れたWSI表現能力を維持しながら、ベンチマーク手法と比較してGPUリソースが少ないアーキテクチャです。
論文 参考訳（メタデータ） (2022-11-29T23:47:56Z) - ContIG: Self-supervised Multimodal Contrastive Learning for Medical
Imaging with Genetics [4.907551775445731]
本研究では、ラベルのない医療画像と遺伝データの大規模なデータセットから学習できる自己教師付き手法であるContIGを提案する。
提案手法は特徴空間における画像といくつかの遺伝的モダリティをコントラスト的損失を用いて整列させる。
また、我々のモデルで学んだ特徴に関するゲノムワイド・アソシエーション研究を行い、画像と遺伝データの間の興味深い関係を明らかにする。
論文 参考訳（メタデータ） (2021-11-26T11:06:12Z) - Towards an Automatic Analysis of CHO-K1 Suspension Growth in
Microfluidic Single-cell Cultivation [63.94623495501023]
我々は、人間の力で抽象化されたニューラルネットワークをデータレベルで注入できる新しい機械学習アーキテクチャを提案する。
具体的には、自然データと合成データに基づいて生成モデルを同時に訓練し、細胞数などの対象変数を確実に推定できる共有表現を学習する。
論文 参考訳（メタデータ） (2020-10-20T08:36:51Z) - Whole Slide Images based Cancer Survival Prediction using Attention
Guided Deep Multiple Instance Learning Networks [38.39901070720532]
Whole Slide Images(WSIs)から派生したキーパッチやクラスタに制限される現在の画像ベースサバイバルモデル
我々は,シムMI-FCNとアテンションベースMILプーリングの両方を導入して,Deep Attention Multiple Instance Survival Learning (DeepAttnMISL)を提案する。
提案手法を2つの大きな癌全スライド画像データセットで評価した結果,提案手法がより効果的で,大規模データセットに適していることが示唆された。
論文 参考訳（メタデータ） (2020-09-23T14:31:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。