論文の概要: KiUT: Knowledge-injected U-Transformer for Radiology Report Generation

• arxiv url: http://arxiv.org/abs/2306.11345v1
• Date: Tue, 20 Jun 2023 07:27:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 15:11:13.562894
• Title: KiUT: Knowledge-injected U-Transformer for Radiology Report Generation
• Title（参考訳）: kiut: 放射線レポート生成のための知識インジェクション型u変換器
• Authors: Zhongzhen Huang, Xiaofan Zhang, Shaoting Zhang
• Abstract要約: X線画像から臨床的正確で一貫性のある段落を自動的に生成することを目的とする。 知識注入型U-Transformer (KiUT) を提案する。
• 参考スコア（独自算出の注目度）: 10.139767157037829
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Radiology report generation aims to automatically generate a clinically accurate and coherent paragraph from the X-ray image, which could relieve radiologists from the heavy burden of report writing. Although various image caption methods have shown remarkable performance in the natural image field, generating accurate reports for medical images requires knowledge of multiple modalities, including vision, language, and medical terminology. We propose a Knowledge-injected U-Transformer (KiUT) to learn multi-level visual representation and adaptively distill the information with contextual and clinical knowledge for word prediction. In detail, a U-connection schema between the encoder and decoder is designed to model interactions between different modalities. And a symptom graph and an injected knowledge distiller are developed to assist the report generation. Experimentally, we outperform state-of-the-art methods on two widely used benchmark datasets: IU-Xray and MIMIC-CXR. Further experimental results prove the advantages of our architecture and the complementary benefits of the injected knowledge.
• Abstract（参考訳）: 放射線医学レポートの作成は、x線画像から臨床的に正確で一貫性のある段落を自動的に生成することを目的としている。 様々な画像キャプション手法は自然画像分野において顕著な性能を示しているが、医療画像の正確なレポートを生成するには視覚、言語、医学用語を含む複数のモダリティの知識が必要である。 本稿では,多段階の視覚的表現を学習し,文脈的および臨床的知識を適応的に抽出して単語予測を行う知識インジェクションu-transformer(kiut)を提案する。 詳しくは、エンコーダとデコーダの間のU接続スキーマは、異なるモード間の相互作用をモデル化するように設計されている。 そして、レポート生成を支援するために、症状グラフと注入知識蒸留器を開発する。 実験では、広く使われている2つのベンチマークデータセット、iu-xray と mimic-cxr で最先端の手法を上回っている。 さらなる実験により、アーキテクチャの利点と、注入された知識の相補的な利点が証明された。

関連論文リスト

• Eye-gaze Guided Multi-modal Alignment for Medical Representation Learning [65.54680361074882]
  アイゲイズガイドマルチモーダルアライメント(EGMA)フレームワークは、アイゲイズデータを利用して、医用視覚的特徴とテキスト的特徴のアライメントを改善する。 我々は4つの医療データセット上で画像分類と画像テキスト検索の下流タスクを行う。
  論文  参考訳（メタデータ） (2024-03-19T03:59:14Z)
• Radiology Report Generation Using Transformers Conditioned with Non-imaging Data [55.17268696112258]
  本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。 提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
  論文  参考訳（メタデータ） (2023-11-18T14:52:26Z)
• Beyond Images: An Integrative Multi-modal Approach to Chest X-Ray Report Generation [47.250147322130545]
  画像からテキストまでの放射線学レポート生成は,医療画像の発見を記述した放射線学レポートを自動生成することを目的としている。 既存の方法の多くは画像データのみに焦点をあてており、他の患者情報は放射線科医に公開されていない。 胸部X線レポートを生成するための多モードディープニューラルネットワークフレームワークを,非構造的臨床ノートとともにバイタルサインや症状などの構造化された患者データを統合することで提案する。
  論文  参考訳（メタデータ） (2023-11-18T14:37:53Z)
• Enhanced Knowledge Injection for Radiology Report Generation [21.937372129714884]
  本稿では,異なる種類の知識を抽出するために2つの分野を利用する知識注入フレームワークを提案する。 この微細でよく構造化された知識を現在の画像と統合することにより、マルチソースの知識の獲得を活用して、最終的により正確なレポート生成を可能にします。
  論文  参考訳（メタデータ） (2023-11-01T09:50:55Z)
• Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report Generation [92.73584302508907]
  コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。 詳しくは、グラフの基本構造は一般知識から事前構築される。 各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
  論文  参考訳（メタデータ） (2023-03-18T03:53:43Z)
• Cross-modal Clinical Graph Transformer for Ophthalmic Report Generation [116.87918100031153]
  眼科報告生成(ORG)のためのクロスモーダルな臨床グラフ変換器(CGT)を提案する。 CGTは、デコード手順を駆動する事前知識として、臨床関係を視覚特徴に注入する。 大規模FFA-IRベンチマークの実験は、提案したCGTが従来のベンチマーク手法より優れていることを示した。
  論文  参考訳（メタデータ） (2022-06-04T13:16:30Z)
• Cross-modal Memory Networks for Radiology Report Generation [30.13916304931662]
  ラジオロジーレポート生成のためのエンコーダデコーダフレームワークを強化するために,クロスモーダルメモリネットワーク(CMN)を提案する。 本モデルでは,放射線画像やテキストからの情報の整合性が向上し,臨床指標の精度向上に寄与する。
  論文  参考訳（メタデータ） (2022-04-28T02:32:53Z)
• Radiology Report Generation with a Learned Knowledge Base and Multi-modal Alignment [27.111857943935725]
  胸部X線からのレポート生成のための自動マルチモーダルアプローチを提案する。 本手法は,学習知識ベースとマルチモーダルアライメントの2つの異なるモジュールを特徴とする。 両モジュールの助けを借りて、我々のアプローチは明らかに最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-12-30T10:43:56Z)
• Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation [107.3538598876467]
  放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。 ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
  論文  参考訳（メタデータ） (2020-06-06T01:00:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。