論文の概要: ContIG: Self-supervised Multimodal Contrastive Learning for Medical Imaging with Genetics

• arxiv url: http://arxiv.org/abs/2111.13424v1
• Date: Fri, 26 Nov 2021 11:06:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 15:17:07.389605
• Title: ContIG: Self-supervised Multimodal Contrastive Learning for Medical Imaging with Genetics
• Title（参考訳）: ContIG:遺伝子を用いた医用画像の自己教師型マルチモーダルコントラスト学習
• Authors: Aiham Taleb, Matthias Kirchler, Remo Monti, Christoph Lippert
• Abstract要約: 本研究では、ラベルのない医療画像と遺伝データの大規模なデータセットから学習できる自己教師付き手法であるContIGを提案する。 提案手法は特徴空間における画像といくつかの遺伝的モダリティをコントラスト的損失を用いて整列させる。 また、我々のモデルで学んだ特徴に関するゲノムワイド・アソシエーション研究を行い、画像と遺伝データの間の興味深い関係を明らかにする。
• 参考スコア（独自算出の注目度）: 4.907551775445731
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: High annotation costs are a substantial bottleneck in applying modern deep learning architectures to clinically relevant medical use cases, substantiating the need for novel algorithms to learn from unlabeled data. In this work, we propose ContIG, a self-supervised method that can learn from large datasets of unlabeled medical images and genetic data. Our approach aligns images and several genetic modalities in the feature space using a contrastive loss. We design our method to integrate multiple modalities of each individual person in the same model end-to-end, even when the available modalities vary across individuals. Our procedure outperforms state-of-the-art self-supervised methods on all evaluated downstream benchmark tasks. We also adapt gradient-based explainability algorithms to better understand the learned cross-modal associations between the images and genetic modalities. Finally, we perform genome-wide association studies on the features learned by our models, uncovering interesting relationships between images and genetic data.
• Abstract（参考訳）: 高アノテーションコストは、最新のディープラーニングアーキテクチャを臨床に関連する医療ユースケースに適用する上で大きなボトルネックであり、ラベルのないデータから学習するための新しいアルゴリズムの必要性を実証している。 本研究では,ラベルなしの医用画像と遺伝データの大規模データセットから学習できる自己教師あり手法であるcontigを提案する。 提案手法は特徴空間における画像といくつかの遺伝的モダリティをコントラスト的損失を用いて整列させる。 本手法では,各個人が利用可能なモダリティが個人によって異なる場合でも,同一モデルで複数のモダリティを統合する手法を設計する。 提案手法は,評価されたダウンストリームベンチマークタスクすべてにおいて,最先端の自己教師ありメソッドよりも優れている。 また,画像と遺伝的モダリティの相互関係をよりよく理解するために,勾配に基づく説明可能性アルゴリズムを適用した。 最後に, 画像と遺伝データの興味深い関係を明らかにするため, モデルから得られた特徴についてゲノムワイド関連研究を行った。

関連論文リスト

• Coupling AI and Citizen Science in Creation of Enhanced Training Dataset for Medical Image Segmentation [3.7274206780843477]
  我々は、AIとクラウドソーシングを組み合わせた堅牢で汎用的なフレームワークを導入し、医療画像データセットの品質と量を改善する。 当社のアプローチでは,多様なクラウドアノテータのグループによる医療画像のラベル付けを効率的に行うことができる,ユーザフレンドリーなオンラインプラットフォームを活用している。 我々は、生成AIモデルであるpix2pixGANを使用して、リアルな形態的特徴をキャプチャする合成画像を用いてトレーニングデータセットを拡張する。
  論文  参考訳（メタデータ） (2024-09-04T21:22:54Z)
• MGI: Multimodal Contrastive pre-training of Genomic and Medical Imaging [16.325123491357203]
  本稿では,下流タスクにゲノムと医用画像を併用したマルチモーダル事前学習フレームワークを提案する。 我々は,マンバを遺伝子エンコーダとして,ビジョントランスフォーマー(ViT)を医用画像エンコーダとして組み合わせた,自己指導型コントラスト学習アプローチを用いて医用画像と遺伝子を調整した。
  論文  参考訳（メタデータ） (2024-06-02T06:20:45Z)
• Genetic InfoMax: Exploring Mutual Information Maximization in High-Dimensional Imaging Genetics Studies [50.11449968854487]
  遺伝子ワイド・アソシエーション(GWAS)は、遺伝的変異と特定の形質の関係を同定するために用いられる。 画像遺伝学の表現学習は、GWASによって引き起こされる固有の課題により、ほとんど探索されていない。 本稿では,GWAS の具体的な課題に対処するために,トランスモーダル学習フレームワーク Genetic InfoMax (GIM) を提案する。
  論文  参考訳（メタデータ） (2023-09-26T03:59:21Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
  本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。 アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-25T16:29:16Z)
• Domain Generalization for Mammographic Image Analysis with Contrastive Learning [62.25104935889111]
  効果的なディープラーニングモデルのトレーニングには、さまざまなスタイルと品質を備えた大規模なデータが必要である。 より優れたスタイルの一般化能力を備えた深層学習モデルを実現するために,新しいコントラスト学習法が開発された。 提案手法は,様々なベンダスタイルドメインのマンモグラムや,いくつかのパブリックデータセットを用いて,広範囲かつ厳密に評価されている。
  論文  参考訳（メタデータ） (2023-04-20T11:40:21Z)
• AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
  本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。 AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。 我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
  論文  参考訳（メタデータ） (2023-03-01T23:37:45Z)
• Metadata-enhanced contrastive learning from retinal optical coherence tomography images [7.932410831191909]
  従来のコントラストフレームワークを新しいメタデータ強化戦略で拡張する。 本手法では,画像間のコントラスト関係の真のセットを近似するために,患者メタデータを広く活用する。 提案手法は、6つの画像レベル下流タスクのうち5つにおいて、標準コントラスト法と網膜画像基盤モデルの両方に優れる。
  論文  参考訳（メタデータ） (2022-08-04T08:53:15Z)
• Federated Learning for Computational Pathology on Gigapixel Whole Slide Images [4.035591045544291]
  計算病理学において,ギガピクセル全体の画像に対するプライバシ保護フェデレーション学習を導入する。 スライドレベルのラベルのみを用いた数千のスライディング画像を用いた2つの異なる診断問題に対するアプローチについて検討した。
  論文  参考訳（メタデータ） (2020-09-21T21:56:08Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。