論文の概要: MGI: Multimodal Contrastive pre-training of Genomic and Medical Imaging

• arxiv url: http://arxiv.org/abs/2406.00631v1
• Date: Sun, 2 Jun 2024 06:20:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 04:06:06.979911
• Title: MGI: Multimodal Contrastive pre-training of Genomic and Medical Imaging
• Title（参考訳）: MGI(Multimodal Contrastive Pre-training of Genomic and Medical Imaging)
• Authors: Jiaying Zhou, Mingzhou Jiang, Junde Wu, Jiayuan Zhu, Ziyue Wang, Yueming Jin,
• Abstract要約: 本稿では,下流タスクにゲノムと医用画像を併用したマルチモーダル事前学習フレームワークを提案する。 我々は,マンバを遺伝子エンコーダとして,ビジョントランスフォーマー(ViT)を医用画像エンコーダとして組み合わせた,自己指導型コントラスト学習アプローチを用いて医用画像と遺伝子を調整した。
• 参考スコア（独自算出の注目度）: 16.325123491357203
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Medicine is inherently a multimodal discipline. Medical images can reflect the pathological changes of cancer and tumors, while the expression of specific genes can influence their morphological characteristics. However, most deep learning models employed for these medical tasks are unimodal, making predictions using either image data or genomic data exclusively. In this paper, we propose a multimodal pre-training framework that jointly incorporates genomics and medical images for downstream tasks. To address the issues of high computational complexity and difficulty in capturing long-range dependencies in genes sequence modeling with MLP or Transformer architectures, we utilize Mamba to model these long genomic sequences. We aligns medical images and genes using a self-supervised contrastive learning approach which combines the Mamba as a genetic encoder and the Vision Transformer (ViT) as a medical image encoder. We pre-trained on the TCGA dataset using paired gene expression data and imaging data, and fine-tuned it for downstream tumor segmentation tasks. The results show that our model outperformed a wide range of related methods.
• Abstract（参考訳）: 医学は本質的にマルチモーダル分野である。 医用画像は癌や腫瘍の病理学的変化を反映しうるが、特定の遺伝子の発現はその形態学的特徴に影響を与える可能性がある。 しかし、これらの医療タスクに使用される深層学習モデルは、画像データまたはゲノムデータのみを用いて予測を行うため、ユニモーダル(unimodal)である。 本稿では,下流タスクにゲノムと医用画像を併用したマルチモーダル事前学習フレームワークを提案する。 MLP や Transformer アーキテクチャを用いた遺伝子配列モデリングにおいて、高い計算複雑性と長距離依存を捉えることの難しさに対処するために、Mamba を用いて長いゲノム配列をモデル化する。 我々は,マンバを遺伝子エンコーダとして,ビジョントランスフォーマー(ViT)を医用画像エンコーダとして組み合わせた,自己指導型コントラスト学習アプローチを用いて,医用画像と遺伝子を整合させる。 遺伝子解析データと画像データを用いて,TCGAデータセット上で事前トレーニングを行い,下流腫瘍セグメンテーションタスクのために微調整を行った。 以上の結果から,本モデルは様々な手法より優れていたことが示唆された。

関連論文リスト

• Translating Imaging to Genomics: Leveraging Transformers for Predictive Modeling [9.403446155541346]
  我々はトランスフォーマーネットワークを利用して画像とゲノムデータのギャップを埋めることを目指している。 利用可能なCT/MRI画像のみを用いてゲノム配列を予測することを提案する。
  論文  参考訳（メタデータ） (2024-08-01T06:14:37Z)
• End-to-end autoencoding architecture for the simultaneous generation of medical images and corresponding segmentation masks [3.1133049660590615]
  ハミルトン変分オートエンコーダ(HVAE)に基づくエンドツーエンドアーキテクチャを提案する。 従来の変分オートエンコーダ(VAE)と比較して後部分布近似が向上する。 本手法は, 生成的逆境条件より優れ, 画像品質の向上を示す。
  論文  参考訳（メタデータ） (2023-11-17T11:56:53Z)
• BiomedJourney: Counterfactual Biomedical Image Generation by Instruction-Learning from Multimodal Patient Journeys [99.7082441544384]
  本稿では,インストラクション学習によるバイオメディカル画像生成のための新しい手法であるBiomedJourneyを紹介する。 我々は、GPT-4を用いて、対応する画像レポートを処理し、疾患進行の自然言語記述を生成する。 得られた三重項は、反現実的なバイオメディカル画像生成のための潜伏拡散モデルを訓練するために使用される。
  論文  参考訳（メタデータ） (2023-10-16T18:59:31Z)
• Genetic InfoMax: Exploring Mutual Information Maximization in High-Dimensional Imaging Genetics Studies [50.11449968854487]
  遺伝子ワイド・アソシエーション(GWAS)は、遺伝的変異と特定の形質の関係を同定するために用いられる。 画像遺伝学の表現学習は、GWASによって引き起こされる固有の課題により、ほとんど探索されていない。 本稿では,GWAS の具体的な課題に対処するために,トランスモーダル学習フレームワーク Genetic InfoMax (GIM) を提案する。
  論文  参考訳（メタデータ） (2023-09-26T03:59:21Z)
• Gene-induced Multimodal Pre-training for Image-omic Classification [20.465959546613554]
  本稿では、ゲノム情報と全スライド画像(WSI)を併用した遺伝子誘導型マルチモーダル事前学習フレームワークを提案する。 TCGAデータセットによる実験結果から,ネットワークアーキテクチャと事前学習フレームワークの優位性が示され,画像-オミクス分類の精度は99.47%に達した。
  論文  参考訳（メタデータ） (2023-09-06T04:30:15Z)
• AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
  本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。 AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。 我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
  論文  参考訳（メタデータ） (2023-03-01T23:37:45Z)
• ContIG: Self-supervised Multimodal Contrastive Learning for Medical Imaging with Genetics [4.907551775445731]
  本研究では、ラベルのない医療画像と遺伝データの大規模なデータセットから学習できる自己教師付き手法であるContIGを提案する。 提案手法は特徴空間における画像といくつかの遺伝的モダリティをコントラスト的損失を用いて整列させる。 また、我々のモデルで学んだ特徴に関するゲノムワイド・アソシエーション研究を行い、画像と遺伝データの間の興味深い関係を明らかにする。
  論文  参考訳（メタデータ） (2021-11-26T11:06:12Z)
• TransMed: Transformers Advance Multi-modal Medical Image Classification [4.500880052705654]
  畳み込みニューラルネットワーク(CNN)は、医療画像解析タスクで非常に競争力のあるパフォーマンスを示しています。 トランスフォーマーはコンピュータビジョンに適用され、大規模なデータセットで顕著な成功を収めた。 TransMedはCNNとトランスフォーマーの利点を組み合わせて、画像の低レベル特徴を効率的に抽出する。
  論文  参考訳（メタデータ） (2021-03-10T08:57:53Z)
• Medical Transformer: Gated Axial-Attention for Medical Image Segmentation [73.98974074534497]
  医用画像分割タスクにおけるトランスフォーマティブネットワークアーキテクチャの利用可能性について検討する。 セルフアテンションモジュールに追加の制御機構を導入することで,既存のアーキテクチャを拡張するGated Axial-Attentionモデルを提案する。 医療画像上で効果的にモデルを訓練するために,さらにパフォーマンスを向上させる局所的グローバルトレーニング戦略 (logo) を提案する。
  論文  参考訳（メタデータ） (2021-02-21T18:35:14Z)
• G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
  診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
  論文  参考訳（メタデータ） (2021-01-27T19:28:04Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。