論文の概要: Learning Generalized Medical Image Representations through Image-Graph Contrastive Pretraining

• arxiv url: http://arxiv.org/abs/2405.09594v1
• Date: Wed, 15 May 2024 12:27:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-17 16:09:33.703517
• Title: Learning Generalized Medical Image Representations through Image-Graph Contrastive Pretraining
• Title（参考訳）: 画像グラフコントラスト事前学習による一般医用画像表現の学習
• Authors: Sameer Khanna, Daniel Michael, Marinka Zitnik, Pranav Rajpurkar,
• Abstract要約: 胸部X線と構造化レポート知識グラフを組み合わせた画像グラフコントラスト学習フレームワークを開発した。 提案手法は,リレーショナルグラフ畳み込みネットワークとトランスフォーマーアテンションを介して,非連結グラフ成分を一意に符号化する。
• 参考スコア（独自算出の注目度）: 11.520404630575749
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Medical image interpretation using deep learning has shown promise but often requires extensive expert-annotated datasets. To reduce this annotation burden, we develop an Image-Graph Contrastive Learning framework that pairs chest X-rays with structured report knowledge graphs automatically extracted from radiology notes. Our approach uniquely encodes the disconnected graph components via a relational graph convolution network and transformer attention. In experiments on the CheXpert dataset, this novel graph encoding strategy enabled the framework to outperform existing methods that use image-text contrastive learning in 1% linear evaluation and few-shot settings, while achieving comparable performance to radiologists. By exploiting unlabeled paired images and text, our framework demonstrates the potential of structured clinical insights to enhance contrastive learning for medical images. This work points toward reducing demands on medical experts for annotations, improving diagnostic precision, and advancing patient care through robust medical image understanding.
• Abstract（参考訳）: 深層学習を用いた医用画像の解釈は将来性を示しているが、専門家が注釈付けした広範囲なデータセットを必要とすることが多い。 このアノテーションの負担を軽減するために,胸部X線と構造化レポート知識グラフをペアリングする画像グラフコントラスト学習フレームワークを開発した。 提案手法は,リレーショナルグラフ畳み込みネットワークとトランスフォーマーアテンションを介して,非連結グラフ成分を一意に符号化する。 CheXpertデータセットの実験では、この新しいグラフ符号化戦略により、1%の線形評価と少数ショット設定で画像テキストコントラスト学習を使用する既存の手法を上回りながら、放射線学者に匹敵するパフォーマンスを実現した。 本フレームワークは,ラベルのないペア画像とテキストを活用することにより,医用画像のコントラスト学習を強化するために,構造化された臨床所見の可能性を示す。 本研究は、アノテーションに対する医療専門家の要求を減らし、診断精度を向上し、堅牢な医用画像理解を通じて患者のケアを進めることを目的としている。

関連論文リスト

• MLIP: Enhancing Medical Visual Representation with Divergence Encoder and Knowledge-guided Contrastive Learning [48.97640824497327]
  本稿では、画像テキストのコントラスト学習を通じて、言語情報を視覚領域に統合するための案内信号として、ドメイン固有の医療知識を活用する新しいフレームワークを提案する。 我々のモデルには、設計した分散エンコーダによるグローバルコントラスト学習、局所トークン・知識・パッチアライメントコントラスト学習、知識誘導型カテゴリレベルのコントラスト学習、エキスパートナレッジによるコントラスト学習が含まれる。 特に、MLIPは、限られた注釈付きデータであっても最先端の手法を超越し、医療表現学習の進歩におけるマルチモーダル事前学習の可能性を強調している。
  論文  参考訳（メタデータ） (2024-02-03T05:48:50Z)
• Radiology Report Generation Using Transformers Conditioned with Non-imaging Data [55.17268696112258]
  本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。 提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
  論文  参考訳（メタデータ） (2023-11-18T14:52:26Z)
• Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report Generation [92.73584302508907]
  コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。 詳しくは、グラフの基本構造は一般知識から事前構築される。 各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
  論文  参考訳（メタデータ） (2023-03-18T03:53:43Z)
• Representative Image Feature Extraction via Contrastive Learning Pretraining for Chest X-ray Report Generation [19.69560434388278]
  医療報告生成の目標は、画像の発見を正確に把握し、記述することである。 以前の作業では、さまざまなドメインで大規模なデータセットを使用して、視覚的エンコーディングニューラルネットワークを事前トレーニングしていた。 本稿では,視覚的エンコーダの事前学習に対照的な学習手法を用い,メタ情報を必要としないフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-04T12:07:19Z)
• RadTex: Learning Efficient Radiograph Representations from Text Reports [7.090896766922791]
  我々は,放射線学報告を利用して,限られたラベル付きデータを用いた医用画像分類性能を向上させるための,データ効率のよい学習フレームワークを構築した。 本モデルは,ラベル付きトレーニングデータに制限がある場合,ImageNetによる事前学習よりも高い分類性能を実現する。
  論文  参考訳（メタデータ） (2022-08-05T15:06:26Z)
• Self-Ensembling Contrastive Learning for Semi-Supervised Medical Image Segmentation [6.889911520730388]
  限られたラベルを持つ医用画像セグメンテーションにおける半教師あり学習の性能向上を目指す。 我々は、ラベルのない画像に対照的な損失を与えることによって、特徴レベルで潜在表現を直接学習する。 我々はMRIとCTのセグメンテーションデータセットの実験を行い、提案手法が最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-05-27T03:27:58Z)
• Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
  マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。 共通情報と相補情報の両方を敵意で抽出することを目的としている。 特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
  論文  参考訳（メタデータ） (2021-02-15T18:46:44Z)
• Contrastive Learning of Medical Visual Representations from Paired Images and Text [38.91117443316013]
  本研究では,自然発生した記述的ペアリングテキストを活用することで,医用視覚表現を学習するための教師なし戦略であるConVIRTを提案する。 この2つのモダリティ間の双方向のコントラスト的目的を通じて、ペア化されたテキストデータを用いて医療画像エンコーダを事前訓練する手法は、ドメインに依存しないため、追加の専門家による入力は不要である。
  論文  参考訳（メタデータ） (2020-10-02T02:10:18Z)
• Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation [107.3538598876467]
  放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。 ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
  論文  参考訳（メタデータ） (2020-06-06T01:00:15Z)
• Dynamic Graph Correlation Learning for Disease Diagnosis with Incomplete Labels [66.57101219176275]
  胸部X線画像上の疾患診断は,多ラベル分類の課題である。 本稿では,異なる疾患間の相互依存を調査する新たな視点を提示する病的診断グラフ畳み込みネットワーク(DD-GCN)を提案する。 本手法は,相関学習のための動的隣接行列を用いた特徴写像上のグラフを初めて構築する手法である。
  論文  参考訳（メタデータ） (2020-02-26T17:10:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。