論文の概要: Gene-induced Multimodal Pre-training for Image-omic Classification
- arxiv url: http://arxiv.org/abs/2309.02702v1
- Date: Wed, 6 Sep 2023 04:30:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 16:57:02.442559
- Title: Gene-induced Multimodal Pre-training for Image-omic Classification
- Title（参考訳）: 画像分類のための遺伝子誘発マルチモーダル事前学習
- Authors: Ting Jin and Xingran Xie and Renjie Wan and Qingli Li and Yan Wang
- Abstract要約: 本稿では、ゲノム情報と全スライド画像(WSI)を併用した遺伝子誘導型マルチモーダル事前学習フレームワークを提案する。
TCGAデータセットによる実験結果から,ネットワークアーキテクチャと事前学習フレームワークの優位性が示され,画像-オミクス分類の精度は99.47%に達した。
- 参考スコア（独自算出の注目度）: 20.465959546613554
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Histology analysis of the tumor micro-environment integrated with genomic
assays is the gold standard for most cancers in modern medicine. This paper
proposes a Gene-induced Multimodal Pre-training (GiMP) framework, which jointly
incorporates genomics and Whole Slide Images (WSIs) for classification tasks.
Our work aims at dealing with the main challenges of multi-modality image-omic
classification w.r.t. (1) the patient-level feature extraction difficulties
from gigapixel WSIs and tens of thousands of genes, and (2) effective fusion
considering high-order relevance modeling. Concretely, we first propose a group
multi-head self-attention gene encoder to capture global structured features in
gene expression cohorts. We design a masked patch modeling paradigm (MPM) to
capture the latent pathological characteristics of different tissues. The mask
strategy is randomly masking a fixed-length contiguous subsequence of patch
embeddings of a WSI. Finally, we combine the classification tokens of paired
modalities and propose a triplet learning module to learn high-order relevance
and discriminative patient-level information.After pre-training, a simple
fine-tuning can be adopted to obtain the classification results. Experimental
results on the TCGA dataset show the superiority of our network architectures
and our pre-training framework, achieving 99.47% in accuracy for image-omic
classification. The code is publicly available at
https://github.com/huangwudiduan/GIMP.
- Abstract（参考訳）: ゲノムアッセイと統合した腫瘍微小環境の組織学的解析は、現代の医学におけるほとんどのがんの標準である。
本稿では、ゲノム情報と全スライド画像(WSI)を併用した遺伝子誘導型マルチモーダル事前学習(GiMP)フレームワークを提案する。
本研究は,(1)gigapixel wsisと数万の遺伝子からの患者レベルの特徴抽出の難しさ,(2)高次関連性モデリングを考慮した効果的な融合の課題に対処することを目的としている。
具体的には,まず,遺伝子発現コホートにおける大域的構造的特徴を捉えるために,グループ多頭自己結合型遺伝子エンコーダを提案する。
異なる組織に潜伏する病理特性を捉えるために,マスクパッチモデリングパラダイム (MPM) を設計した。
マスク戦略は、wsiのパッチ埋め込みの固定長連続部分列をランダムにマスキングする。
最後に,ペア型モダリティの分類トークンを組み合わせて,高次関連性と判別的患者レベル情報を学習するための三重項学習モジュールを提案する。
TCGAデータセットによる実験結果から,ネットワークアーキテクチャと事前学習フレームワークの優位性が示され,画像-オミクス分類の精度は99.47%に達した。
コードはhttps://github.com/huangwudiduan/GIMPで公開されている。
関連論文リスト
- FUSECAPS: Investigating Feature Fusion Based Framework for Capsule Endoscopy Image Classification [0.0]
この研究は内視鏡画像の分類に強力な方法論を提供する。
本稿では、畳み込みニューラルネットワーク(CNN)、多層パーセプトロン(MLP)、放射能を組み合わせたハイブリッド特徴抽出法を提案する。
カプセル内視鏡ビデオフレーム分類作業において,76.2%の精度で検証を行った。
論文 参考訳（メタデータ） (2024-11-04T21:55:52Z) - MM-UNet: A Mixed MLP Architecture for Improved Ophthalmic Image Segmentation [3.2846676620336632]
眼科画像分割は眼疾患の診断において重要な基礎となる。
トランスフォーマーベースのモデルはこれらの制限に対処するが、かなりの計算オーバーヘッドをもたらす。
本稿では,眼内画像分割に適したMixedモデルであるMM-UNetを紹介する。
論文 参考訳（メタデータ） (2024-08-16T08:34:50Z) - Benchmarking Embedding Aggregation Methods in Computational Pathology: A Clinical Data Perspective [32.93871326428446]
人工知能(AI)の最近の進歩は、医療画像と計算病理に革命をもたらしている。
デジタル全スライド画像(WSI)の解析における一定の課題は、何万ものタイルレベルの画像埋め込みをスライドレベルの表現に集約する問題である。
本研究は,9つの臨床的課題を対象とした10種類のスライドレベルのアグリゲーション手法のベンチマーク分析を行った。
論文 参考訳（メタデータ） (2024-07-10T17:00:57Z) - MGI: Multimodal Contrastive pre-training of Genomic and Medical Imaging [16.325123491357203]
本稿では,下流タスクにゲノムと医用画像を併用したマルチモーダル事前学習フレームワークを提案する。
我々は,マンバを遺伝子エンコーダとして,ビジョントランスフォーマー(ViT)を医用画像エンコーダとして組み合わせた,自己指導型コントラスト学習アプローチを用いて医用画像と遺伝子を調整した。
論文 参考訳（メタデータ） (2024-06-02T06:20:45Z) - Genetic InfoMax: Exploring Mutual Information Maximization in
High-Dimensional Imaging Genetics Studies [50.11449968854487]
遺伝子ワイド・アソシエーション(GWAS)は、遺伝的変異と特定の形質の関係を同定するために用いられる。
画像遺伝学の表現学習は、GWASによって引き起こされる固有の課題により、ほとんど探索されていない。
本稿では,GWAS の具体的な課題に対処するために,トランスモーダル学習フレームワーク Genetic InfoMax (GIM) を提案する。
論文 参考訳（メタデータ） (2023-09-26T03:59:21Z) - AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context
Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。
AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。
我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
論文 参考訳（メタデータ） (2023-03-01T23:37:45Z) - Hierarchical Transformer for Survival Prediction Using Multimodality
Whole Slide Images and Genomics [63.76637479503006]
下流タスクのためのギガピクセルレベルのスライド病理画像(WSI)の良質な表現を学習することが重要である。
本稿では,病理画像と対応する遺伝子間の階層的マッピングを学習する階層型マルチモーダルトランスフォーマーフレームワークを提案する。
より優れたWSI表現能力を維持しながら、ベンチマーク手法と比較してGPUリソースが少ないアーキテクチャです。
論文 参考訳（メタデータ） (2022-11-29T23:47:56Z) - Application of Transfer Learning and Ensemble Learning in Image-level
Classification for Breast Histopathology [9.037868656840736]
CAD(Computer-Aided Diagnosis)では、従来の分類モデルでは、主に1つのネットワークを使って特徴を抽出する。
本稿では良性病変と悪性病変のバイナリ分類のための画像レベルラベルに基づく深層アンサンブルモデルを提案する。
結果: アンサンブルネットワークモデルにおいて、画像レベルのバイナリ分類は9,8.90%の精度を達成する。
論文 参考訳（メタデータ） (2022-04-18T13:31:53Z) - Modality Completion via Gaussian Process Prior Variational Autoencoders
for Multi-Modal Glioma Segmentation [75.58395328700821]
本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。
MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。
4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
論文 参考訳（メタデータ） (2021-07-07T19:06:34Z) - G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for
Biomarker Identification and Disease Classification [49.53651166356737]
診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。
2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
論文 参考訳（メタデータ） (2021-01-27T19:28:04Z) - Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype
Prediction [55.94378672172967]
本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。
新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。
我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
論文 参考訳（メタデータ） (2020-09-02T02:50:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。