論文の概要: Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report
Generation
- arxiv url: http://arxiv.org/abs/2006.03744v1
- Date: Sat, 6 Jun 2020 01:00:15 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 21:13:57.906096
- Title: Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report
Generation
- Title(参考訳): 医療報告生成のための補助信号誘導知識エンコーダデコーダ
- Authors: Mingjie Li, Fuyu Wang, Xiaojun Chang and Xiaodan Liang
- Abstract要約: 放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。
ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
- 参考スコア(独自算出の注目度): 107.3538598876467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Beyond the common difficulties faced in the natural image captioning, medical
report generation specifically requires the model to describe a medical image
with a fine-grained and semantic-coherence paragraph that should satisfy both
medical commonsense and logic. Previous works generally extract the global
image features and attempt to generate a paragraph that is similar to
referenced reports; however, this approach has two limitations. Firstly, the
regions of primary interest to radiologists are usually located in a small area
of the global image, meaning that the remainder parts of the image could be
considered as irrelevant noise in the training procedure. Secondly, there are
many similar sentences used in each medical report to describe the normal
regions of the image, which causes serious data bias. This deviation is likely
to teach models to generate these inessential sentences on a regular basis. To
address these problems, we propose an Auxiliary Signal-Guided Knowledge
Encoder-Decoder (ASGK) to mimic radiologists' working patterns. In more detail,
ASGK integrates internal visual feature fusion and external medical linguistic
information to guide medical knowledge transfer and learning. The core
structure of ASGK consists of a medical graph encoder and a natural language
decoder, inspired by advanced Generative Pre-Training (GPT). Experiments on the
CX-CHR dataset and our COVID-19 CT Report dataset demonstrate that our proposed
ASGK is able to generate a robust and accurate report, and moreover outperforms
state-of-the-art methods on both medical terminology classification and
paragraph generation metrics.
- Abstract(参考訳): 自然な画像キャプションで直面する共通の困難に加えて、医用レポート生成には、医用コモンセンスと論理の両方を満たすように細粒度でセマンティックなコヒーレンスな段落を持つ医療画像を記述する必要がある。
従来の作品では、概してグローバル画像の特徴を抽出し、参照されたレポートに類似した段落の生成を試みるが、このアプローチには2つの制限がある。
第一に、放射線科医が関心を持つ領域は、通常、地球規模の画像の小さな領域に位置しており、画像の残りの部分は、訓練手順において無関係なノイズとみなすことができる。
第二に、画像の正常な領域を記述するために医療報告書で使われる類似の文が多数あり、深刻なデータバイアスを引き起こす。
この偏差は、モデルにこれらのセンシティブな文を定期的に生成するように教える可能性が高い。
これらの問題に対処するために,放射線学者の動作パターンを模倣する補助信号誘導知識エンコーダ(ASGK)を提案する。
より詳しくは、ASGKは内的視覚的特徴融合と外的医学的言語情報を統合し、医学的知識伝達と学習を導く。
ASGKの中核構造は、医学グラフエンコーダと、先進的な生成前訓練(GPT)にインスパイアされた自然言語デコーダである。
CX-CHRデータセットと私たちのCOVID-19 CT Reportデータセットの実験により、提案したASGKは堅牢で正確なレポートを生成することができ、さらに、医学用語分類と段落生成指標の両方において最先端の手法より優れています。
関連論文リスト
- A Novel Corpus of Annotated Medical Imaging Reports and Information Extraction Results Using BERT-based Language Models [4.023338734079828]
医療画像は多くの健康状態の診断、監視、治療に重要である。
放射線学者は、これらの複雑で非構造的なイメージを解釈し、ほとんど非構造的のままの物語報告を通じてその評価を明確にする。
この非構造化の物語は、振り返り分析や臨床決定支援のような二次的な応用を促進するために、構造化された意味表現に変換されなければならない。
論文 参考訳(メタデータ) (2024-03-27T19:43:45Z) - Reading Radiology Imaging Like The Radiologist [3.218449686637963]
我々は、より正確で現実的に整合性のある疾患記述を生成するために、事実整合キャプションジェネレータを設計する。
本研究の枠組みは,病型指向マスクの検索により,CXRデータベースから最も類似した疾患の報告を見つけることができる。
論文 参考訳(メタデータ) (2023-07-12T05:36:47Z) - Replace and Report: NLP Assisted Radiology Report Generation [31.309987297324845]
無線画像から放射線学レポートを生成するためのテンプレートベースの手法を提案する。
胸部X線検査では, 異常所見の少ない文章を作成し, 正常な報告テンプレートに置き換えることにより, 胸部X線所見を初めて生成する試みである。
論文 参考訳(メタデータ) (2023-06-19T10:04:42Z) - Generation of Radiology Findings in Chest X-Ray by Leveraging
Collaborative Knowledge [6.792487817626456]
医学的イメージを解釈する認知的タスクは、放射線学のワークフローにおいて最も重要であり、しばしば時間を要するステップである。
この研究は、ほとんどの時間をFindingsの執筆またはナレーションに費やしている放射線学者の作業量を削減することに焦点を当てている。
単段階画像キャプションタスクとして放射線学レポートを生成する過去の研究とは異なり、CXR画像の解釈の複雑さを考慮に入れている。
論文 参考訳(メタデータ) (2023-06-18T00:51:28Z) - Act Like a Radiologist: Radiology Report Generation across Anatomical Regions [50.13206214694885]
X-RGenは6つの解剖学的領域にわたる放射線学者によるレポート生成フレームワークである。
X-RGenでは、ヒトの放射線学者の行動を模倣し、これらを4つの主要な段階に分解する。
画像エンコーダの認識能力は,各領域にまたがる画像やレポートを分析して向上する。
論文 参考訳(メタデータ) (2023-05-26T07:12:35Z) - Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report
Generation [92.73584302508907]
コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。
詳しくは、グラフの基本構造は一般知識から事前構築される。
各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
論文 参考訳(メタデータ) (2023-03-18T03:53:43Z) - Medical Image Captioning via Generative Pretrained Transformers [57.308920993032274]
我々は、Show-Attend-Tell と GPT-3 という2つの言語モデルを組み合わせて、包括的で記述的な放射線学記録を生成する。
提案モデルは、Open-I、MIMIC-CXR、汎用MS-COCOの2つの医療データセットで検証される。
論文 参考訳(メタデータ) (2022-09-28T10:27:10Z) - Radiomics-Guided Global-Local Transformer for Weakly Supervised
Pathology Localization in Chest X-Rays [65.88435151891369]
Radiomics-Guided Transformer (RGT)は、テキストトグロバル画像情報と、テキストトグロバル情報とを融合する。
RGTは、画像トランスフォーマーブランチ、放射能トランスフォーマーブランチ、および画像と放射線情報を集約する融合層から構成される。
論文 参考訳(メタデータ) (2022-07-10T06:32:56Z) - Generative Residual Attention Network for Disease Detection [51.60842580044539]
本稿では, 条件付き生成逆学習を用いたX線疾患発生のための新しいアプローチを提案する。
我々は,患者の身元を保存しながら,対象領域に対応する放射線画像を生成する。
次に、ターゲット領域で生成されたX線画像を用いてトレーニングを増強し、検出性能を向上させる。
論文 参考訳(メタデータ) (2021-10-25T14:15:57Z) - When Radiology Report Generation Meets Knowledge Graph [17.59749125131158]
放射線画像診断では, 陽性疾患キーワードの精度が重要である。
報告品質の評価は、疾患キーワードとその関連属性のマッチングをより重視すべきである。
我々は,同じ合成グラフの助けを借りて,放射線画像レポートのための新しい評価基準を提案する。
論文 参考訳(メタデータ) (2020-02-19T16:39:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。