論文の概要: IIHT: Medical Report Generation with Image-to-Indicator Hierarchical Transformer

• arxiv url: http://arxiv.org/abs/2308.05633v1
• Date: Thu, 10 Aug 2023 15:22:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-11 11:57:24.812412
• Title: IIHT: Medical Report Generation with Image-to-Indicator Hierarchical Transformer
• Title（参考訳）: IIHT:画像-指標階層変換器を用いた医用レポート生成
• Authors: Keqiang Fan, Xiaohao Cai, Mahesan Niranjan
• Abstract要約: 本稿では,医用レポート生成のためのイメージ・ツー・インジケータ階層変換器(IIHT)フレームワークを提案する。 提案したIIHT法は, 実環境における疾患指標の修正が可能である。
• 参考スコア（独自算出の注目度）: 4.376565880192482
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated medical report generation has become increasingly important in medical analysis. It can produce computer-aided diagnosis descriptions and thus significantly alleviate the doctors' work. Inspired by the huge success of neural machine translation and image captioning, various deep learning methods have been proposed for medical report generation. However, due to the inherent properties of medical data, including data imbalance and the length and correlation between report sequences, the generated reports by existing methods may exhibit linguistic fluency but lack adequate clinical accuracy. In this work, we propose an image-to-indicator hierarchical transformer (IIHT) framework for medical report generation. It consists of three modules, i.e., a classifier module, an indicator expansion module and a generator module. The classifier module first extracts image features from the input medical images and produces disease-related indicators with their corresponding states. The disease-related indicators are subsequently utilised as input for the indicator expansion module, incorporating the "data-text-data" strategy. The transformer-based generator then leverages these extracted features along with image features as auxiliary information to generate final reports. Furthermore, the proposed IIHT method is feasible for radiologists to modify disease indicators in real-world scenarios and integrate the operations into the indicator expansion module for fluent and accurate medical report generation. Extensive experiments and comparisons with state-of-the-art methods under various evaluation metrics demonstrate the great performance of the proposed method.
• Abstract（参考訳）: 医療報告の自動生成は、医療分析においてますます重要になっている。 コンピュータ支援による診断記述を作成でき、医師の仕事を大幅に軽減することができる。 ニューラルマシン翻訳と画像キャプションの大きな成功に触発されて、医療報告生成のための様々なディープラーニング手法が提案されている。 しかし、データ不均衡や報告シーケンス間の長さと相関などの医療データの性質から、既存の方法で生成された報告は言語学的な傾向を示すが、十分な臨床精度は得られない。 本稿では,医用レポート生成のための画像対インジケータ階層トランス(iiht)フレームワークを提案する。 3つのモジュール、すなわち分類器モジュール、インジケータ拡張モジュール、ジェネレータモジュールで構成されている。 分類器モジュールは、入力された医用画像から画像特徴を抽出し、対応する状態で疾患関連指標を生成する。 その後、疾患関連指標はインジケータ拡張モジュールの入力として利用され、「データテキストデータ」戦略が組み込まれている。 変換器ベースのジェネレータは、抽出した特徴と画像の特徴を補助情報として利用して最終報告を生成する。 さらに, 本手法は, 実環境シナリオにおける病状指標の修正や, その操作を指標拡張モジュールに統合し, 流動的で正確な医療報告生成を可能にする。 各種評価指標を用いた大規模実験と最新手法との比較により,提案手法の性能が向上した。

関連論文リスト

• VALD-MD: Visual Attribution via Latent Diffusion for Medical Diagnostics [0.0]
  医用画像における視覚的属性は、医用画像の診断関連成分を明確にすることを目指している。 本稿では、潜在拡散モデルとドメイン固有大言語モデルを組み合わせた新しい生成的視覚属性手法を提案する。 結果として生じるシステムは、ゼロショット局所化疾患誘導を含む様々な潜在能力を示す。
  論文  参考訳（メタデータ） (2024-01-02T19:51:49Z)
• Medical Report Generation based on Segment-Enhanced Contrastive Representation Learning [39.17345313432545]
  臓器, 異常, 骨等を分類するためのMSCL(医学画像とコントラスト学習)を提案する。 トレーニング中にターゲットとセマンティックに類似したレポートにより多くの重みを割り当てる教師付きコントラスト損失を導入する。 実験の結果,提案手法の有効性が示され,IU X線公開データセット上での最先端性能が得られた。
  論文  参考訳（メタデータ） (2023-12-26T03:33:48Z)
• Radiology Report Generation Using Transformers Conditioned with Non-imaging Data [55.17268696112258]
  本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。 提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
  論文  参考訳（メタデータ） (2023-11-18T14:52:26Z)
• KiUT: Knowledge-injected U-Transformer for Radiology Report Generation [10.139767157037829]
  X線画像から臨床的正確で一貫性のある段落を自動的に生成することを目的とする。 知識注入型U-Transformer (KiUT) を提案する。
  論文  参考訳（メタデータ） (2023-06-20T07:27:28Z)
• Customizing General-Purpose Foundation Models for Medical Report Generation [64.31265734687182]
  ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。 本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
  論文  参考訳（メタデータ） (2023-06-09T03:02:36Z)
• Cross-Modal Causal Intervention for Medical Report Generation [109.83549148448469]
  医療報告生成(MRG)は、コンピュータ支援診断と治療指導に不可欠である。 視覚的および言語的バイアスによって引き起こされる画像テキストデータ内の素早い相関のため、病変領域を確実に記述した正確なレポートを生成することは困難である。 本稿では,視覚分解モジュール (VDM) と言語分解モジュール (LDM) からなるMRGのための新しい視覚言語因果干渉 (VLCI) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-16T07:23:55Z)
• AlignTransformer: Hierarchical Alignment of Visual Regions and Disease Tags for Medical Report Generation [50.21065317817769]
  本稿では,Align Hierarchical Attention (AHA)とMulti-Grained Transformer (MGT)モジュールを含むAlign Transformerフレームワークを提案する。 パブリックなIU-XrayとMIMIC-CXRデータセットの実験は、AlignTransformerが2つのデータセットの最先端メソッドと競合する結果が得られることを示している。
  論文  参考訳（メタデータ） (2022-03-18T13:43:53Z)
• Radiology Report Generation with a Learned Knowledge Base and Multi-modal Alignment [27.111857943935725]
  胸部X線からのレポート生成のための自動マルチモーダルアプローチを提案する。 本手法は,学習知識ベースとマルチモーダルアライメントの2つの異なるモジュールを特徴とする。 両モジュールの助けを借りて、我々のアプローチは明らかに最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-12-30T10:43:56Z)
• Automated Generation of Accurate \& Fluent Medical X-ray Reports [17.927768992248172]
  胸部X線画像入力から医療報告を自動生成することに焦点を当てた。 本手法は,言語流布度と臨床精度に関する一般的な測定値について有望な結果を得た。
  論文  参考訳（メタデータ） (2021-08-27T05:47:28Z)
• Variational Topic Inference for Chest X-Ray Report Generation [102.04931207504173]
  医療画像のレポート生成は、作業負荷を減らし、臨床実習における診断を支援することを約束する。 近年の研究では、ディープラーニングモデルが自然画像のキャプションに成功していることが示された。 本稿では,自動レポート生成のための変分トピック推論を提案する。
  論文  参考訳（メタデータ） (2021-07-15T13:34:38Z)
• Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation [107.3538598876467]
  放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。 ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
  論文  参考訳（メタデータ） (2020-06-06T01:00:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。