論文の概要: Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report Generation

• arxiv url: http://arxiv.org/abs/2303.10323v1
• Date: Sat, 18 Mar 2023 03:53:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 20:15:33.264524
• Title: Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report Generation
• Title（参考訳）: 胸部X線レポート生成のための動的グラフ強化コントラスト学習
• Authors: Mingjie Li, Bingqian Lin, Zicong Chen, Haokun Lin, Xiaodan Liang, Xiaojun Chang
• Abstract要約: コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。 詳しくは、グラフの基本構造は一般知識から事前構築される。 各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
• 参考スコア（独自算出の注目度）: 92.73584302508907
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Automatic radiology reporting has great clinical potential to relieve radiologists from heavy workloads and improve diagnosis interpretation. Recently, researchers have enhanced data-driven neural networks with medical knowledge graphs to eliminate the severe visual and textual bias in this task. The structures of such graphs are exploited by using the clinical dependencies formed by the disease topic tags via general knowledge and usually do not update during the training process. Consequently, the fixed graphs can not guarantee the most appropriate scope of knowledge and limit the effectiveness. To address the limitation, we propose a knowledge graph with Dynamic structure and nodes to facilitate medical report generation with Contrastive Learning, named DCL. In detail, the fundamental structure of our graph is pre-constructed from general knowledge. Then we explore specific knowledge extracted from the retrieved reports to add additional nodes or redefine their relations in a bottom-up manner. Each image feature is integrated with its very own updated graph before being fed into the decoder module for report generation. Finally, this paper introduces Image-Report Contrastive and Image-Report Matching losses to better represent visual features and textual information. Evaluated on IU-Xray and MIMIC-CXR datasets, our DCL outperforms previous state-of-the-art models on these two benchmarks.
• Abstract（参考訳）: 自動放射線診断は、放射線科医が重労働から解放され、診断の解釈が改善する可能性がある。 近年、研究者らは医療知識グラフを用いたデータ駆動ニューラルネットワークを強化し、このタスクにおける視覚的およびテキスト的バイアスを排除している。 このようなグラフの構造は、一般的な知識を通じて疾患トピックタグが生成する臨床依存関係を利用して利用され、通常、トレーニングプロセス中に更新されない。 したがって、固定グラフは最も適切な知識の範囲を保証できず、有効性を制限できない。 この制限に対処するため,DCL(Contrastive Learning)と呼ばれる医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。 詳しくは、グラフの基本構造は一般知識から事前構築される。 次に、検索したレポートから抽出した特定の知識を調べ、追加ノードを追加したり、ボトムアップで関係を再定義したりします。 各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。 最後に、視覚的特徴やテキスト情報を表現するために、画像レポートコントラストと画像レポートマッチングの損失について紹介する。 iu-xray と mimic-cxr データセット上で評価された dcl は,これら2つのベンチマークで従来の最先端モデルよりも優れている。

関連論文リスト

• Learning Generalized Medical Image Representations through Image-Graph Contrastive Pretraining [11.520404630575749]
  胸部X線と構造化レポート知識グラフを組み合わせた画像グラフコントラスト学習フレームワークを開発した。 提案手法は,リレーショナルグラフ畳み込みネットワークとトランスフォーマーアテンションを介して,非連結グラフ成分を一意に符号化する。
  論文  参考訳（メタデータ） (2024-05-15T12:27:38Z)
• Attributed Abnormality Graph Embedding for Clinically Accurate X-Ray Report Generation [7.118069629513661]
  我々は、属性異常グラフ(ATAG)と呼ばれる、新しい微粒化知識グラフ構造を導入する。 ATAGは相互接続された異常ノードと属性ノードで構成されており、異常の詳細をより正確に把握することができる。 提案したATAG-based Deep ModelはSOTA法よりも大きなマージンで優れており, 得られた報告の臨床的精度を向上させることができる。
  論文  参考訳（メタデータ） (2022-07-04T05:32:00Z)
• Cross-modal Clinical Graph Transformer for Ophthalmic Report Generation [116.87918100031153]
  眼科報告生成(ORG)のためのクロスモーダルな臨床グラフ変換器(CGT)を提案する。 CGTは、デコード手順を駆動する事前知識として、臨床関係を視覚特徴に注入する。 大規模FFA-IRベンチマークの実験は、提案したCGTが従来のベンチマーク手法より優れていることを示した。
  論文  参考訳（メタデータ） (2022-06-04T13:16:30Z)
• Graph Enhanced Contrastive Learning for Radiology Findings Summarization [25.377658879658306]
  放射線学レポートのセクションでは、この発見から最も顕著な観察を要約している。 余分な知識と元の知見の両方を活用する統一的なフレームワークを提案する。 キーワードとその関係を適切な方法で抽出し、印象生成を容易にする。
  論文  参考訳（メタデータ） (2022-04-01T04:39:44Z)
• Exploring and Distilling Posterior and Prior Knowledge for Radiology Report Generation [55.00308939833555]
  PPKEDには、Posterior Knowledge Explorer (PoKE), Prior Knowledge Explorer (PrKE), Multi-domain Knowledge Distiller (MKD)の3つのモジュールが含まれている。 PoKEは後部知識を探求し、視覚データのバイアスを軽減するために明確な異常な視覚領域を提供する。 PrKEは、以前の医学知識グラフ(医学知識)と以前の放射線学レポート(作業経験)から以前の知識を探り、テキストデータのバイアスを軽減する。
  論文  参考訳（メタデータ） (2021-06-13T11:10:02Z)
• Weakly-supervised Graph Meta-learning for Few-shot Node Classification [53.36828125138149]
  新しいグラフメタ学習フレームワーク - Graph Hallucination Networks (Meta-GHN) を提案する。 新たなロバストネス強化エピソードトレーニングに基づいて、Meta-GHNは、弱いラベル付きデータからクリーンノード表現を幻覚させるメタ学習を行う。 大規模な実験は、既存のグラフメタ学習研究よりもMeta-GHNの方が優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-12T22:22:10Z)
• Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation [107.3538598876467]
  放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。 ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
  論文  参考訳（メタデータ） (2020-06-06T01:00:15Z)
• Latent-Graph Learning for Disease Prediction [44.26665239213658]
  我々は,GCNの下流における疾患分類の課題に向けて,一つの最適なグラフを学習することが可能であることを示す。 一般的に用いられているスペクトルGCNアプローチとは異なり、我々のGCNは空間的かつ誘導的であり、これまで見られなかった患者も推測できる。
  論文  参考訳（メタデータ） (2020-03-27T08:18:01Z)
• Dynamic Graph Correlation Learning for Disease Diagnosis with Incomplete Labels [66.57101219176275]
  胸部X線画像上の疾患診断は,多ラベル分類の課題である。 本稿では,異なる疾患間の相互依存を調査する新たな視点を提示する病的診断グラフ畳み込みネットワーク(DD-GCN)を提案する。 本手法は,相関学習のための動的隣接行列を用いた特徴写像上のグラフを初めて構築する手法である。
  論文  参考訳（メタデータ） (2020-02-26T17:10:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。