論文の概要: Rethinking Medical Report Generation: Disease Revealing Enhancement with
Knowledge Graph
- arxiv url: http://arxiv.org/abs/2307.12526v1
- Date: Mon, 24 Jul 2023 04:56:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 15:44:17.650023
- Title: Rethinking Medical Report Generation: Disease Revealing Enhancement with
Knowledge Graph
- Title(参考訳): 医学レポート生成の再考: ナレッジグラフによる疾患の顕在化
- Authors: Yixin Wang, Zihao Lin, Haoyu Dong
- Abstract要約: 知識グラフ(KG)は、疾患間の関係を明らかにするため、医療報告生成(MRG)において重要な役割を果たす。
本研究は,137種類の疾患と異常を含む胸部X線画像の完全KGを確立した。
この問題を軽減するために,分布の尾端における病型表現を強化する新しい拡張戦略を導入する。
- 参考スコア(独自算出の注目度): 20.48510969557314
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge Graph (KG) plays a crucial role in Medical Report Generation (MRG)
because it reveals the relations among diseases and thus can be utilized to
guide the generation process. However, constructing a comprehensive KG is
labor-intensive and its applications on the MRG process are under-explored. In
this study, we establish a complete KG on chest X-ray imaging that includes 137
types of diseases and abnormalities. Based on this KG, we find that the current
MRG data sets exhibit a long-tailed problem in disease distribution. To
mitigate this problem, we introduce a novel augmentation strategy that enhances
the representation of disease types in the tail-end of the distribution. We
further design a two-stage MRG approach, where a classifier is first trained to
detect whether the input images exhibit any abnormalities. The classified
images are then independently fed into two transformer-based generators,
namely, ``disease-specific generator" and ``disease-free generator" to generate
the corresponding reports. To enhance the clinical evaluation of whether the
generated reports correctly describe the diseases appearing in the input image,
we propose diverse sensitivity (DS), a new metric that checks whether generated
diseases match ground truth and measures the diversity of all generated
diseases. Results show that the proposed two-stage generation framework and
augmentation strategies improve DS by a considerable margin, indicating a
notable reduction in the long-tailed problem associated with under-represented
diseases.
- Abstract(参考訳): ナレッジグラフ(kg)は,疾患間の関係を明らかにし,その発生過程の指導に利用できるため,医療報告書生成(mrg)において重要な役割を果たす。
しかし, 包括的kgの構築は労働集約的であり, mrgプロセスへの応用は未検討である。
本研究では,137種類の疾患と異常を含む胸部X線画像の完全KGを確立する。
このKGに基づいて、現在のMRGデータセットは、病気の分布において長期にわたる問題を示す。
この問題を軽減するため,本研究では,病型分布のテールエンドにおける表現性を高める新しい拡張戦略を提案する。
さらに,入力画像が異常を呈するかどうかを識別するために分類器をまず訓練する2段階mcg法も設計する。
分類された画像は独立して、2つの変換器ベースのジェネレータ、すなわち ``disease-specific generator" と ``disease-free generator" に供給され、対応するレポートを生成する。
入力画像に現れる疾患を正しく記述するか否かの臨床的評価を高めるために, 生成した疾患が真実と一致しているかを確認し, 発生した疾患の多様性を測定する新しい指標である多彩な感度(DS)を提案する。
以上の結果から,提案した2段階生成フレームワークと拡張戦略はDSをかなり改善し,低発現疾患に関連する長期的課題の顕著な減少が示唆された。
関連論文リスト
- FairSkin: Fair Diffusion for Skin Disease Image Generation [54.29840149709033]
拡散モデル (DM) は, 合成医用画像の生成において主要な手法となっているが, 臨界二倍偏差に悩まされている。
このようなバイアスを3段階のリサンプリング機構によって緩和する新しいDMフレームワークであるFairSkinを提案する。
本手法は, 画像の多様性と品質を著しく向上させ, 臨床環境における皮膚疾患の検出精度の向上に寄与する。
論文 参考訳(メタデータ) (2024-10-29T21:37:03Z) - AutoRG-Brain: Grounded Report Generation for Brain MRI [57.22149878985624]
放射線学者は、大量の画像を日々のベースで解釈し、対応するレポートを生成する責任を負う。
この要求される作業負荷は、人間のエラーのリスクを高め、治療の遅れ、医療費の増加、収益損失、運用上の不効率につながる可能性がある。
地盤自動報告生成(AutoRG)に関する一連の研究を開始した。
このシステムは、脳の構造の明細化、異常の局所化、そしてよく組織化された発見の生成をサポートする。
論文 参考訳(メタデータ) (2024-07-23T17:50:00Z) - Potential of Multimodal Large Language Models for Data Mining of Medical Images and Free-text Reports [51.45762396192655]
特にGemini-Vision-Series (Gemini) と GPT-4-Series (GPT-4) は、コンピュータビジョンのための人工知能のパラダイムシフトを象徴している。
本研究は,14の医用画像データセットを対象に,Gemini,GPT-4,および4つの一般的な大規模モデルの性能評価を行った。
論文 参考訳(メタデータ) (2024-07-08T09:08:42Z) - Dia-LLaMA: Towards Large Language Model-driven CT Report Generation [4.634780391920529]
診断情報をガイダンスとして組み込むことで,CTレポート生成にLLaMA2-7Bを適用するためのフレームワークであるDia-LLaMAを提案する。
我々は,CTの高次元を考慮し,事前学習したVT3Dと知覚器を併用して視覚情報を抽出する。
報告生成のためのLCMを調整し,異常を強調するため,病原体記憶バンクを参照して,追加の診断情報を抽出する。
論文 参考訳(メタデータ) (2024-03-25T03:02:51Z) - Rethinking Radiology Report Generation via Causal Inspired Counterfactual Augmentation [11.266364967223556]
放射線医学報告生成(RRG)は、生体医学分野の視覚・言語相互作用として注目されている。
従来の言語生成タスクのイデオロギーは、レポートとして高い可読性を持つ段落を生成することを目的として、従来の言語生成タスクのイデオロギーを継承した。
RRGの特定の性質である病気間の独立性は無視され、偏りのあるデータ分布によって引き起こされる病気の共起によってモデルが混乱する結果となった。
論文 参考訳(メタデータ) (2023-11-22T10:55:36Z) - Complex Organ Mask Guided Radiology Report Generation [13.96983438709763]
我々は,複合臓器マスクガイド(COMG)レポート生成モデルを提案する。
融合過程において各臓器に対応する疾患の事前知識を活用し,疾患の同定フェーズを増強する。
2つの公開データセットの結果、COMGはSOTAモデルKiUTよりもBLEU@4スコアで11.4%と9.7%改善している。
論文 参考訳(メタデータ) (2023-11-04T05:34:24Z) - PromptMRG: Diagnosis-Driven Prompts for Medical Report Generation [7.508437260320598]
医療報告作成のための診断駆動プロンプト(PromptMRG)を提案する。
PromptMRGは、追加の疾患分類ブランチを持つエンコーダデコーダアーキテクチャに基づいている。
クロスモーダル機能拡張は、クエリイメージの診断を支援するために、データベースから類似したレポートを検索する。
論文 参考訳(メタデータ) (2023-08-24T07:10:31Z) - AlignTransformer: Hierarchical Alignment of Visual Regions and Disease
Tags for Medical Report Generation [50.21065317817769]
本稿では,Align Hierarchical Attention (AHA)とMulti-Grained Transformer (MGT)モジュールを含むAlign Transformerフレームワークを提案する。
パブリックなIU-XrayとMIMIC-CXRデータセットの実験は、AlignTransformerが2つのデータセットの最先端メソッドと競合する結果が得られることを示している。
論文 参考訳(メタデータ) (2022-03-18T13:43:53Z) - Factored Attention and Embedding for Unstructured-view Topic-related
Ultrasound Report Generation [70.7778938191405]
本研究では,非構造的トピック関連超音波レポート生成のための新しい因子的注意・埋め込みモデル(FAE-Gen)を提案する。
提案したFAE-Genは主に2つのモジュール、すなわちビュー誘導因子の注意とトピック指向因子の埋め込みから構成されており、異なるビューで均質および不均一な形態的特徴を捉えている。
論文 参考訳(メタデータ) (2022-03-12T15:24:03Z) - Dynamic Graph Correlation Learning for Disease Diagnosis with Incomplete
Labels [66.57101219176275]
胸部X線画像上の疾患診断は,多ラベル分類の課題である。
本稿では,異なる疾患間の相互依存を調査する新たな視点を提示する病的診断グラフ畳み込みネットワーク(DD-GCN)を提案する。
本手法は,相関学習のための動的隣接行列を用いた特徴写像上のグラフを初めて構築する手法である。
論文 参考訳(メタデータ) (2020-02-26T17:10:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。