論文の概要: Auto-Encoding Knowledge Graph for Unsupervised Medical Report Generation

• arxiv url: http://arxiv.org/abs/2111.04318v1
• Date: Mon, 8 Nov 2021 08:10:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-09 23:34:55.123511
• Title: Auto-Encoding Knowledge Graph for Unsupervised Medical Report Generation
• Title（参考訳）: 教師なし医療報告生成のための知識グラフの自動エンコーディング
• Authors: Fenglin Liu, Chenyu You, Xian Wu, Shen Ge, Sheng Wang, Xu Sun
• Abstract要約: 本稿では,教師なしモデルである知識グラフ自動エンコーダ(KGAE)を提案する。 実験の結果, 教師なしKGAEは, イメージレポートトレーニングペアを使わずに, 望ましい医療報告を生成することがわかった。
• 参考スコア（独自算出の注目度）: 37.79300133979238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Medical report generation, which aims to automatically generate a long and coherent report of a given medical image, has been receiving growing research interests. Existing approaches mainly adopt a supervised manner and heavily rely on coupled image-report pairs. However, in the medical domain, building a large-scale image-report paired dataset is both time-consuming and expensive. To relax the dependency on paired data, we propose an unsupervised model Knowledge Graph Auto-Encoder (KGAE) which accepts independent sets of images and reports in training. KGAE consists of a pre-constructed knowledge graph, a knowledge-driven encoder and a knowledge-driven decoder. The knowledge graph works as the shared latent space to bridge the visual and textual domains; The knowledge-driven encoder projects medical images and reports to the corresponding coordinates in this latent space and the knowledge-driven decoder generates a medical report given a coordinate in this space. Since the knowledge-driven encoder and decoder can be trained with independent sets of images and reports, KGAE is unsupervised. The experiments show that the unsupervised KGAE generates desirable medical reports without using any image-report training pairs. Moreover, KGAE can also work in both semi-supervised and supervised settings, and accept paired images and reports in training. By further fine-tuning with image-report pairs, KGAE consistently outperforms the current state-of-the-art models on two datasets.
• Abstract（参考訳）: 医療画像の長期的かつコヒーレントなレポートを自動的に生成することを目的とした医療レポート生成は、研究の関心が高まっている。 既存のアプローチは主に教師付き方式を採用し、結合したイメージ-レポートペアに大きく依存している。 しかし、医療分野では、大規模な画像レポートペアデータセットの構築には時間と費用がかかる。 ペアデータへの依存を緩和するために,学習中の画像とレポートの独立セットを受け入れる教師なしモデル知識グラフオートエンコーダ(kgae)を提案する。 KGAEは、事前構築された知識グラフ、知識駆動エンコーダ、知識駆動デコーダから構成される。 知識駆動型エンコーダは、この潜在空間内の対応する座標に医療画像とレポートを投影し、知識駆動型デコーダは、この空間に座標が与えられた医療レポートを生成する。 知識駆動エンコーダとデコーダは独立した画像とレポートで訓練できるため、KGAEは教師なしである。 実験の結果, 教師なしKGAEは, イメージレポートトレーニングペアを使わずに, 望ましい医療報告を生成することがわかった。 さらに、KGAEは半教師付き設定と教師付き設定の両方で動作し、トレーニング時にペアイメージとレポートを受け入れることもできる。 イメージレポートペアによるさらなる微調整により、KGAEは、2つのデータセット上の現在の最先端モデルよりも一貫してパフォーマンスが向上する。

関連論文リスト

• MedCycle: Unpaired Medical Report Generation via Cycle-Consistency [11.190146577567548]
  一貫性のあるラベリングスキーマを必要としない革新的なアプローチを導入する。 このアプローチは、画像埋め込みをレポート埋め込みに変換するサイクル一貫性マッピング関数に基づいている。 胸部X線所見の発生は、最先端の結果よりも優れており、言語と臨床の両方の指標の改善が示されている。
  論文  参考訳（メタデータ） (2024-03-20T09:40:11Z)
• Radiology Report Generation Using Transformers Conditioned with Non-imaging Data [55.17268696112258]
  本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。 提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
  論文  参考訳（メタデータ） (2023-11-18T14:52:26Z)
• KiUT: Knowledge-injected U-Transformer for Radiology Report Generation [10.139767157037829]
  X線画像から臨床的正確で一貫性のある段落を自動的に生成することを目的とする。 知識注入型U-Transformer (KiUT) を提案する。
  論文  参考訳（メタデータ） (2023-06-20T07:27:28Z)
• Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report Generation [92.73584302508907]
  コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。 詳しくは、グラフの基本構造は一般知識から事前構築される。 各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
  論文  参考訳（メタデータ） (2023-03-18T03:53:43Z)
• Representative Image Feature Extraction via Contrastive Learning Pretraining for Chest X-ray Report Generation [19.69560434388278]
  医療報告生成の目標は、画像の発見を正確に把握し、記述することである。 以前の作業では、さまざまなドメインで大規模なデータセットを使用して、視覚的エンコーディングニューラルネットワークを事前トレーニングしていた。 本稿では,視覚的エンコーダの事前学習に対照的な学習手法を用い,メタ情報を必要としないフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-04T12:07:19Z)
• Cross-modal Clinical Graph Transformer for Ophthalmic Report Generation [116.87918100031153]
  眼科報告生成(ORG)のためのクロスモーダルな臨床グラフ変換器(CGT)を提案する。 CGTは、デコード手順を駆動する事前知識として、臨床関係を視覚特徴に注入する。 大規模FFA-IRベンチマークの実験は、提案したCGTが従来のベンチマーク手法より優れていることを示した。
  論文  参考訳（メタデータ） (2022-06-04T13:16:30Z)
• A Teacher-Student Framework for Semi-supervised Medical Image Segmentation From Mixed Supervision [62.4773770041279]
  そこで我々は,臓器と病変のセグメンテーションのための教師と学生のスタイルに基づくセミ教師付き学習フレームワークを開発した。 我々は,本モデルがバウンディングボックスの品質に対して堅牢であることを示し,フル教師付き学習手法と比較した性能を実現する。
  論文  参考訳（メタデータ） (2020-10-23T07:58:20Z)
• Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation [107.3538598876467]
  放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。 ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
  論文  参考訳（メタデータ） (2020-06-06T01:00:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。