論文の概要: DAMPER: A Dual-Stage Medical Report Generation Framework with Coarse-Grained MeSH Alignment and Fine-Grained Hypergraph Matching
- arxiv url: http://arxiv.org/abs/2412.14535v2
- Date: Mon, 23 Dec 2024 09:14:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-24 12:13:20.087305
- Title: DAMPER: A Dual-Stage Medical Report Generation Framework with Coarse-Grained MeSH Alignment and Fine-Grained Hypergraph Matching
- Title（参考訳）: DAMPER: 粗粒化MeSHアライメントと微細粒化ハイパーグラフマッチングを備えたデュアルステージ医療レポート生成フレームワーク
- Authors: Xiaofei Huang, Wenting Chen, Jie Liu, Qisheng Lu, Xiaoling Luo, Linlin Shen,
- Abstract要約: DAMPERは、医療報告作成のための2段階のフレームワークであり、レポート作成の2段階における臨床パイプラインを模倣している。
第1段階では、MCG(MeSH-Guided Coarse-Grained Alignment)ステージは、胸部X線像の特徴と、MeSH(Messical subject Heads)特徴とを一致させて、全体的な印象の粗いキーフレーズ表現を生成する。
第2段階では、ハイパーグラフ強化ファイングラインドアライメント(HFG)ステージは、画像パッチとレポートアノテーションのためのハイパーグラフを構築し、各モダリティ内の高次関係をモデル化し、セマンティックをキャプチャするためにハイパーグラフマッチングを実行する。
- 参考スコア（独自算出の注目度）: 31.195735876414734
- License:
- Abstract: Medical report generation is crucial for clinical diagnosis and patient management, summarizing diagnoses and recommendations based on medical imaging. However, existing work often overlook the clinical pipeline involved in report writing, where physicians typically conduct an initial quick review followed by a detailed examination. Moreover, current alignment methods may lead to misaligned relationships. To address these issues, we propose DAMPER, a dual-stage framework for medical report generation that mimics the clinical pipeline of report writing in two stages. In the first stage, a MeSH-Guided Coarse-Grained Alignment (MCG) stage that aligns chest X-ray (CXR) image features with medical subject headings (MeSH) features to generate a rough keyphrase representation of the overall impression. In the second stage, a Hypergraph-Enhanced Fine-Grained Alignment (HFG) stage that constructs hypergraphs for image patches and report annotations, modeling high-order relationships within each modality and performing hypergraph matching to capture semantic correlations between image regions and textual phrases. Finally,the coarse-grained visual features, generated MeSH representations, and visual hypergraph features are fed into a report decoder to produce the final medical report. Extensive experiments on public datasets demonstrate the effectiveness of DAMPER in generating comprehensive and accurate medical reports, outperforming state-of-the-art methods across various evaluation metrics.
- Abstract（参考訳）: 医療報告の生成は, 臨床診断と患者管理, 診断の要約, 医用画像に基づくレコメンデーションに不可欠である。
しかし、既存の研究はしばしばレポート作成にかかわる臨床パイプラインを見落とし、医師は通常、詳細な検査の後、最初のクイックレビューを行う。
さらに、現在のアライメント手法は、不整合関係につながる可能性がある。
これらの課題に対処するために,医療報告作成のための2段階のフレームワークであるDAMPERを提案する。
第1段階では、胸部X線像の特徴とMeSHの特徴とを合わせるMCG(MeSH-Guided Coarse-Grained Alignment)ステージが、全体的な印象の粗いキーフレーズ表現を生成する。
第2段階では、画像パッチとアノテーションのハイパーグラフを構築するハイパーグラフ強化ファイングラインドアライメント(HFG)ステージ、各モダリティ内の高次関係をモデル化し、画像領域とテキストフレーズ間の意味的相関を捉えるハイパーグラフマッチングを実行する。
最後に、粗粒度の視覚的特徴、生成されたMeSH表現、および視覚的ハイパーグラフ特徴をレポートデコーダに入力し、最終医療報告を生成する。
公開データセットに関する大規模な実験は、総合的かつ正確な医療報告を生成する上でのDAMPERの有効性を示し、様々な評価指標で最先端の手法より優れている。
関連論文リスト
- Structural Entities Extraction and Patient Indications Incorporation for Chest X-ray Report Generation [10.46031380503486]
胸部X線レポート生成のための新しい方法である textbfStructural textbfEntities 抽出法と textbfIncorporation (SEI) を考案した。
我々は、レポートにおけるプレゼンテーションスタイルの語彙を排除するために、構造エンティティ抽出(SEE)アプローチを採用する。
我々は,X線画像,類似の歴史的症例,患者固有の指標からの情報を統合するクロスモーダル融合ネットワークを提案する。
論文 参考訳（メタデータ） (2024-05-23T01:29:47Z) - Eye-gaze Guided Multi-modal Alignment for Medical Representation Learning [65.54680361074882]
アイゲイズガイドマルチモーダルアライメント(EGMA)フレームワークは、アイゲイズデータを利用して、医用視覚的特徴とテキスト的特徴のアライメントを改善する。
我々は4つの医療データセット上で画像分類と画像テキスト検索の下流タスクを行う。
論文 参考訳（メタデータ） (2024-03-19T03:59:14Z) - C^2M-DoT: Cross-modal consistent multi-view medical report generation
with domain transfer network [67.97926983664676]
ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。
C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
論文 参考訳（メタデータ） (2023-10-09T02:31:36Z) - A Self-Guided Framework for Radiology Report Generation [10.573538773141715]
SGF(Self-Guided framework)は、注釈付き疾患ラベルによる医療報告を生成するために開発されたフレームワークである。
SGFは、人間の学習と執筆の過程を模倣するために、教師なしおよび教師なしのディープラーニング手法を使用している。
提案手法は,単語間の細粒度視覚的詳細を識別するためのフレームワークの能力を強調した。
論文 参考訳（メタデータ） (2022-06-19T11:09:27Z) - Cross-modal Memory Networks for Radiology Report Generation [30.13916304931662]
ラジオロジーレポート生成のためのエンコーダデコーダフレームワークを強化するために,クロスモーダルメモリネットワーク(CMN)を提案する。
本モデルでは,放射線画像やテキストからの情報の整合性が向上し,臨床指標の精度向上に寄与する。
論文 参考訳（メタデータ） (2022-04-28T02:32:53Z) - AlignTransformer: Hierarchical Alignment of Visual Regions and Disease
Tags for Medical Report Generation [50.21065317817769]
本稿では,Align Hierarchical Attention (AHA)とMulti-Grained Transformer (MGT)モジュールを含むAlign Transformerフレームワークを提案する。
パブリックなIU-XrayとMIMIC-CXRデータセットの実験は、AlignTransformerが2つのデータセットの最先端メソッドと競合する結果が得られることを示している。
論文 参考訳（メタデータ） (2022-03-18T13:43:53Z) - Factored Attention and Embedding for Unstructured-view Topic-related
Ultrasound Report Generation [70.7778938191405]
本研究では,非構造的トピック関連超音波レポート生成のための新しい因子的注意・埋め込みモデル(FAE-Gen)を提案する。
提案したFAE-Genは主に2つのモジュール、すなわちビュー誘導因子の注意とトピック指向因子の埋め込みから構成されており、異なるビューで均質および不均一な形態的特徴を捉えている。
論文 参考訳（メタデータ） (2022-03-12T15:24:03Z) - Unifying Relational Sentence Generation and Retrieval for Medical Image
Report Composition [142.42920413017163]
現在の手法は、個々のケースのデータセットバイアスにより、しばしば最も一般的な文を生成する。
テンプレート検索と文生成を一体化し、共通およびまれな異常に対処する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-01-09T04:33:27Z) - Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report
Generation [107.3538598876467]
放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。
ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
論文 参考訳（メタデータ） (2020-06-06T01:00:15Z) - Show, Describe and Conclude: On Exploiting the Structure Information of
Chest X-Ray Reports [5.6070625920019825]
胸部X線像(CXR)は臨床検診や診断に一般的に用いられる。
レポートのセクションと内部の複雑な構造は、自動レポート生成に大きな課題をもたらします。
本稿では,CXRイメージングレポートを生成するために,レポートセクション間の構造情報を利用する新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-04-26T02:29:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。