論文の概要: Metadata-enhanced contrastive learning from retinal optical coherence tomography images

• arxiv url: http://arxiv.org/abs/2208.02529v3
• Date: Fri, 26 Jul 2024 15:07:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 18:51:23.473880
• Title: Metadata-enhanced contrastive learning from retinal optical coherence tomography images
• Title（参考訳）: 網膜光コヒーレンス断層画像からのメタデータによるコントラスト学習
• Authors: Robbie Holland, Oliver Leingang, Hrvoje Bogunović, Sophie Riedl, Lars Fritsche, Toby Prevost, Hendrik P. N. Scholl, Ursula Schmidt-Erfurth, Sobha Sivaprasad, Andrew J. Lotery, Daniel Rueckert, Martin J. Menten,
• Abstract要約: 従来のコントラストフレームワークを新しいメタデータ強化戦略で拡張する。 本手法では,画像間のコントラスト関係の真のセットを近似するために,患者メタデータを広く活用する。 提案手法は、6つの画像レベル下流タスクのうち5つにおいて、標準コントラスト法と網膜画像基盤モデルの両方に優れる。
• 参考スコア（独自算出の注目度）: 7.932410831191909
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning has potential to automate screening, monitoring and grading of disease in medical images. Pretraining with contrastive learning enables models to extract robust and generalisable features from natural image datasets, facilitating label-efficient downstream image analysis. However, the direct application of conventional contrastive methods to medical datasets introduces two domain-specific issues. Firstly, several image transformations which have been shown to be crucial for effective contrastive learning do not translate from the natural image to the medical image domain. Secondly, the assumption made by conventional methods, that any two images are dissimilar, is systematically misleading in medical datasets depicting the same anatomy and disease. This is exacerbated in longitudinal image datasets that repeatedly image the same patient cohort to monitor their disease progression over time. In this paper we tackle these issues by extending conventional contrastive frameworks with a novel metadata-enhanced strategy. Our approach employs widely available patient metadata to approximate the true set of inter-image contrastive relationships. To this end we employ records for patient identity, eye position (i.e. left or right) and time series information. In experiments using two large longitudinal datasets containing 170,427 retinal OCT images of 7,912 patients with age-related macular degeneration (AMD), we evaluate the utility of using metadata to incorporate the temporal dynamics of disease progression into pretraining. Our metadata-enhanced approach outperforms both standard contrastive methods and a retinal image foundation model in five out of six image-level downstream tasks related to AMD. Due to its modularity, our method can be quickly and cost-effectively tested to establish the potential benefits of including available metadata in contrastive pretraining.
• Abstract（参考訳）: 深層学習は、医学画像における疾患のスクリーニング、モニタリング、グレードを自動化する可能性がある。 対照的な学習による事前トレーニングにより、モデルが自然な画像データセットから堅牢で一般化可能な特徴を抽出し、ラベル効率のよい下流画像解析を容易にする。 しかし、従来のコントラスト法を直接医療データセットに適用することは、ドメイン固有の2つの問題をもたらす。 第一に、効果的なコントラスト学習に不可欠ないくつかの画像変換は、自然画像から医用画像領域に変換されない。 第二に、従来の2つの画像が異なるという仮定は、同じ解剖学と病気を描いた医学データセットを体系的に誤解している。 これは、同じ患者のコホートを何度も画像化して、時間とともに病気の進行をモニターする縦画像データセットで悪化する。 本稿では,従来のコントラストフレームワークを新しいメタデータ強化戦略で拡張することで,これらの課題に対処する。 本手法では,画像間のコントラスト関係の真のセットを近似するために,患者メタデータを広く活用する。 この目的のために、患者の身元、目の位置(左または右)、時系列情報に記録を用いる。 老化関連黄斑変性症(AMD)患者7,912例の網膜OCT像を170,427例を含む2つの大きな経時的データセットを用いて実験を行った。 我々のメタデータ強化アプローチは、AMDに関連する6つの画像レベル下流タスクのうち5つにおいて、標準コントラスト法と網膜画像基盤モデルの両方より優れている。 モジュール性のため,提案手法を迅速かつ費用対効果で検証し,コントラスト的な事前学習に利用可能なメタデータを組み込むことによる潜在的なメリットを確立することができる。

関連論文リスト

• Autoregressive Sequence Modeling for 3D Medical Image Representation [48.706230961589924]
  本稿では, 自己回帰シーケンス事前学習フレームワークを用いて, 3次元医用画像表現を学習するための先駆的手法を提案する。 我々は,空間的,コントラスト的,意味的相関に基づく様々な3次元医用画像にアプローチし,トークンシーケンス内の相互接続された視覚トークンとして扱う。
  論文  参考訳（メタデータ） (2024-09-13T10:19:10Z)
• Adapting Visual-Language Models for Generalizable Anomaly Detection in Medical Images [68.42215385041114]
  本稿では,CLIPモデルを用いた医用異常検出のための軽量な多レベル適応と比較フレームワークを提案する。 提案手法では,複数の残像アダプタを事前学習した視覚エンコーダに統合し,視覚的特徴の段階的向上を実現する。 医学的異常検出ベンチマーク実験により,本手法が現在の最先端モデルを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2024-03-19T09:28:19Z)
• Adversarial-Robust Transfer Learning for Medical Imaging via Domain Assimilation [17.46080957271494]
  医用画像が公開されていないため、現代のアルゴリズムは、大量の自然画像に基づいて事前訓練されたモデルに依存するようになった。 自然画像と医療画像の間に重要なエムドメインの相違があり、AIモデルは敵の攻撃に対するエムの脆弱性を高める。 本稿では,テクスチャと色適応を伝達学習に導入する Em ドメイン同化手法を提案する。
  論文  参考訳（メタデータ） (2024-02-25T06:39:15Z)
• BiomedJourney: Counterfactual Biomedical Image Generation by Instruction-Learning from Multimodal Patient Journeys [99.7082441544384]
  本稿では,インストラクション学習によるバイオメディカル画像生成のための新しい手法であるBiomedJourneyを紹介する。 我々は、GPT-4を用いて、対応する画像レポートを処理し、疾患進行の自然言語記述を生成する。 得られた三重項は、反現実的なバイオメディカル画像生成のための潜伏拡散モデルを訓練するために使用される。
  論文  参考訳（メタデータ） (2023-10-16T18:59:31Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)
• ContIG: Self-supervised Multimodal Contrastive Learning for Medical Imaging with Genetics [4.907551775445731]
  本研究では、ラベルのない医療画像と遺伝データの大規模なデータセットから学習できる自己教師付き手法であるContIGを提案する。 提案手法は特徴空間における画像といくつかの遺伝的モダリティをコントラスト的損失を用いて整列させる。 また、我々のモデルで学んだ特徴に関するゲノムワイド・アソシエーション研究を行い、画像と遺伝データの間の興味深い関係を明らかにする。
  論文  参考訳（メタデータ） (2021-11-26T11:06:12Z)
• Positional Contrastive Learning for Volumetric Medical Image Segmentation [13.086140606803408]
  コントラストデータペアを生成するための新しい位置コントラスト学習フレームワークを提案する。 提案手法は,半教師付き設定と移動学習の両方において既存の手法と比較して,セグメンテーション性能を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2021-06-16T22:15:28Z)
• MedAug: Contrastive learning leveraging patient metadata improves representations for chest X-ray interpretation [8.403653472706822]
  患者メタデータを用いて、異なる画像の視点からポジティブなペアを選択する手法を開発しています。 胸部X線解釈の正の対を選択するための戦略を比較検討し, 同一患者, 画像研究, 側方性などを検討した。 すべての側面で同じ研究から同じ患者からのイメージを使用することを含む私達の最もよい性能の肯定的な対の選択戦略は平均AUCの3.4%そして14.4%の性能の増加を達成します。
  論文  参考訳（メタデータ） (2021-02-21T18:39:04Z)
• Contrastive Learning of Medical Visual Representations from Paired Images and Text [38.91117443316013]
  本研究では,自然発生した記述的ペアリングテキストを活用することで,医用視覚表現を学習するための教師なし戦略であるConVIRTを提案する。 この2つのモダリティ間の双方向のコントラスト的目的を通じて、ペア化されたテキストデータを用いて医療画像エンコーダを事前訓練する手法は、ドメインに依存しないため、追加の専門家による入力は不要である。
  論文  参考訳（メタデータ） (2020-10-02T02:10:18Z)
• Semi-supervised Medical Image Classification with Relation-driven Self-ensembling Model [71.80319052891817]
  医用画像分類のための関係駆動型半教師付きフレームワークを提案する。 これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。 本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
  論文  参考訳（メタデータ） (2020-05-15T06:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。