論文の概要: Variational Topic Inference for Chest X-Ray Report Generation
- arxiv url: http://arxiv.org/abs/2107.07314v1
- Date: Thu, 15 Jul 2021 13:34:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-16 14:05:57.543267
- Title: Variational Topic Inference for Chest X-Ray Report Generation
- Title(参考訳): 胸部X線レポート生成のための変分トピック推論
- Authors: Ivona Najdenkoska, Xiantong Zhen, Marcel Worring and Ling Shao
- Abstract要約: 医療画像のレポート生成は、作業負荷を減らし、臨床実習における診断を支援することを約束する。
近年の研究では、ディープラーニングモデルが自然画像のキャプションに成功していることが示された。
本稿では,自動レポート生成のための変分トピック推論を提案する。
- 参考スコア(独自算出の注目度): 102.04931207504173
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Automating report generation for medical imaging promises to reduce workload
and assist diagnosis in clinical practice. Recent work has shown that deep
learning models can successfully caption natural images. However, learning from
medical data is challenging due to the diversity and uncertainty inherent in
the reports written by different radiologists with discrepant expertise and
experience. To tackle these challenges, we propose variational topic inference
for automatic report generation. Specifically, we introduce a set of topics as
latent variables to guide sentence generation by aligning image and language
modalities in a latent space. The topics are inferred in a conditional
variational inference framework, with each topic governing the generation of a
sentence in the report. Further, we adopt a visual attention module that
enables the model to attend to different locations in the image and generate
more informative descriptions. We conduct extensive experiments on two
benchmarks, namely Indiana U. Chest X-rays and MIMIC-CXR. The results
demonstrate that our proposed variational topic inference method can generate
novel reports rather than mere copies of reports used in training, while still
achieving comparable performance to state-of-the-art methods in terms of
standard language generation criteria.
- Abstract(参考訳): 医療画像のためのレポート生成の自動化は、臨床における作業負荷の削減と診断の支援を約束する。
近年の研究では、ディープラーニングモデルが自然画像のキャプションに成功できることが示されている。
しかし、医療データから学ぶことは、異なる放射線科医による専門知識と経験の異なる報告書に内在する多様性と不確実性のために困難である。
これらの課題に取り組むために,自動レポート生成のための変動トピック推論を提案する。
具体的には、潜時空間における画像と言語モダリティを整列させて文生成を導くために、潜時変数としてトピックセットを導入する。
各トピックは条件付き変分推論フレームワークで推論され、各トピックはレポート内の文の生成を規定する。
さらに,画像内の異なる場所にモデルが出席し,より情報的な記述を生成できるビジュアルアテンションモジュールも採用している。
インディアナUという2つのベンチマークで広範な実験を行う。
胸部X線とMIMIC-CXR
その結果,提案手法は,標準言語生成基準において最先端の手法に匹敵する性能を保ちつつ,トレーニングで使用するレポートのコピーではなく,新たなレポートを生成することができることがわかった。
関連論文リスト
- Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳(メタデータ) (2023-11-18T14:52:26Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳(メタデータ) (2023-03-30T18:20:00Z) - Learning to Exploit Temporal Structure for Biomedical Vision-Language
Processing [53.89917396428747]
視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。
トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。
我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
論文 参考訳(メタデータ) (2023-01-11T16:35:33Z) - Lesion Guided Explainable Few Weak-shot Medical Report Generation [25.15493013683396]
本報告では, 病状ガイドによる説明が可能で, 弱ショット医療報告生成フレームワークを提案する。
視覚的特徴アライメントと意味的特徴アライメントによって、目と新しいクラス間の相関を学習する。
研修で観察されていない病気の医療報告を作成することを目的としている。
論文 参考訳(メタデータ) (2022-11-16T07:47:29Z) - A Medical Semantic-Assisted Transformer for Radiographic Report
Generation [39.99216295697047]
入力された微細な画像特徴間の高次相互作用を捉えるために,メモリ拡張されたスパースアテンションブロックを提案する。
また,詳細なセマンティック概念を予測し,レポート生成プロセスに組み込むための新しい医療概念生成ネットワーク(MCGN)についても紹介する。
論文 参考訳(メタデータ) (2022-08-22T14:38:19Z) - Weakly Supervised Contrastive Learning for Chest X-Ray Report Generation [3.3978173451092437]
放射線画像から記述テキストを自動的に生成することを目的とした放射線学レポート生成。
典型的な設定は、エンコーダとデコーダのモデルを、クロスエントロピー損失のあるイメージレポートペアでトレーニングする。
本稿では,医療報告生成におけるコントラスト損失の弱化について提案する。
論文 参考訳(メタデータ) (2021-09-25T00:06:23Z) - Automated Knee X-ray Report Generation [12.732469371097347]
本稿では,過去の放射線検査を活かし,画像とレポートの対応を学習できる枠組みを提案する。
本研究では,言語生成モデルの訓練において,個々の試験のイメージ特徴を集約し,条件入力として使用すると,自動生成試験レポートが生成されることを示す。
論文 参考訳(メタデータ) (2021-05-22T11:59:42Z) - Unifying Relational Sentence Generation and Retrieval for Medical Image
Report Composition [142.42920413017163]
現在の手法は、個々のケースのデータセットバイアスにより、しばしば最も一般的な文を生成する。
テンプレート検索と文生成を一体化し、共通およびまれな異常に対処する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-01-09T04:33:27Z) - Learning Visual-Semantic Embeddings for Reporting Abnormal Findings on
Chest X-rays [6.686095511538683]
本研究は放射線画像の異常所見の報告に焦点を当てる。
本稿では, レポートから異常な発見を識別し, 教師なしクラスタリングと最小限のルールで分類する手法を提案する。
本手法は, 異常所見を回収し, 臨床正当性およびテキスト生成量の両方で既存の世代モデルより優れていることを示す。
論文 参考訳(メタデータ) (2020-10-06T04:18:18Z) - Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report
Generation [107.3538598876467]
放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。
ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
論文 参考訳(メタデータ) (2020-06-06T01:00:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。