論文の概要: Variational Topic Inference for Chest X-Ray Report Generation

• arxiv url: http://arxiv.org/abs/2107.07314v1
• Date: Thu, 15 Jul 2021 13:34:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-16 14:05:57.543267
• Title: Variational Topic Inference for Chest X-Ray Report Generation
• Title（参考訳）: 胸部X線レポート生成のための変分トピック推論
• Authors: Ivona Najdenkoska, Xiantong Zhen, Marcel Worring and Ling Shao
• Abstract要約: 医療画像のレポート生成は、作業負荷を減らし、臨床実習における診断を支援することを約束する。 近年の研究では、ディープラーニングモデルが自然画像のキャプションに成功していることが示された。 本稿では,自動レポート生成のための変分トピック推論を提案する。
• 参考スコア（独自算出の注目度）: 102.04931207504173
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Automating report generation for medical imaging promises to reduce workload and assist diagnosis in clinical practice. Recent work has shown that deep learning models can successfully caption natural images. However, learning from medical data is challenging due to the diversity and uncertainty inherent in the reports written by different radiologists with discrepant expertise and experience. To tackle these challenges, we propose variational topic inference for automatic report generation. Specifically, we introduce a set of topics as latent variables to guide sentence generation by aligning image and language modalities in a latent space. The topics are inferred in a conditional variational inference framework, with each topic governing the generation of a sentence in the report. Further, we adopt a visual attention module that enables the model to attend to different locations in the image and generate more informative descriptions. We conduct extensive experiments on two benchmarks, namely Indiana U. Chest X-rays and MIMIC-CXR. The results demonstrate that our proposed variational topic inference method can generate novel reports rather than mere copies of reports used in training, while still achieving comparable performance to state-of-the-art methods in terms of standard language generation criteria.
• Abstract（参考訳）: 医療画像のためのレポート生成の自動化は、臨床における作業負荷の削減と診断の支援を約束する。 近年の研究では、ディープラーニングモデルが自然画像のキャプションに成功できることが示されている。 しかし、医療データから学ぶことは、異なる放射線科医による専門知識と経験の異なる報告書に内在する多様性と不確実性のために困難である。 これらの課題に取り組むために,自動レポート生成のための変動トピック推論を提案する。 具体的には、潜時空間における画像と言語モダリティを整列させて文生成を導くために、潜時変数としてトピックセットを導入する。 各トピックは条件付き変分推論フレームワークで推論され、各トピックはレポート内の文の生成を規定する。 さらに,画像内の異なる場所にモデルが出席し,より情報的な記述を生成できるビジュアルアテンションモジュールも採用している。 インディアナUという2つのベンチマークで広範な実験を行う。 胸部X線とMIMIC-CXR その結果,提案手法は,標準言語生成基準において最先端の手法に匹敵する性能を保ちつつ,トレーニングで使用するレポートのコピーではなく,新たなレポートを生成することができることがわかった。

関連論文リスト

• Contrastive Learning with Counterfactual Explanations for Radiology Report Generation [83.30609465252441]
  放射線学レポート生成のためのtextbfCountertextbfFactual textbfExplanations-based framework (CoFE) を提案する。 反現実的な説明は、アルゴリズムによってなされた決定をどのように変えられるかを理解するための強力なツールとして、シナリオが何であるかを問うことによって役立ちます。 2つのベンチマークの実験では、反ファクト的な説明を活用することで、CoFEは意味的に一貫性があり、事実的に完全なレポートを生成することができる。
  論文  参考訳（メタデータ） (2024-07-19T17:24:25Z)
• Self-supervised vision-langage alignment of deep learning representations for bone X-rays analysis [53.809054774037214]
  本稿では, 骨X線とフレンチレポートを組み合わせることで, 視覚言語による事前訓練を活用することを提案する。 骨X線表現にまつわる埋め込み空間を形成するために、フランスの報告を統合する最初の研究である。
  論文  参考訳（メタデータ） (2024-05-14T19:53:20Z)
• Dynamic Traceback Learning for Medical Report Generation [12.746275623663289]
  本研究では,医療報告生成のための新しいマルチモーダル動的トレースバック学習フレームワークDTraceを提案する。 生成したコンテンツのセマンティックな妥当性を監視するためのトレースバック機構と、画像やテキスト入力の様々な割合に適応するための動的学習戦略を導入する。 提案するDTraceフレームワークは,医療報告生成の最先端手法より優れている。
  論文  参考訳（メタデータ） (2024-01-24T07:13:06Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)
• Lesion Guided Explainable Few Weak-shot Medical Report Generation [25.15493013683396]
  本報告では, 病状ガイドによる説明が可能で, 弱ショット医療報告生成フレームワークを提案する。 視覚的特徴アライメントと意味的特徴アライメントによって、目と新しいクラス間の相関を学習する。 研修で観察されていない病気の医療報告を作成することを目的としている。
  論文  参考訳（メタデータ） (2022-11-16T07:47:29Z)
• A Medical Semantic-Assisted Transformer for Radiographic Report Generation [39.99216295697047]
  入力された微細な画像特徴間の高次相互作用を捉えるために,メモリ拡張されたスパースアテンションブロックを提案する。 また,詳細なセマンティック概念を予測し,レポート生成プロセスに組み込むための新しい医療概念生成ネットワーク(MCGN)についても紹介する。
  論文  参考訳（メタデータ） (2022-08-22T14:38:19Z)
• Weakly Supervised Contrastive Learning for Chest X-Ray Report Generation [3.3978173451092437]
  放射線画像から記述テキストを自動的に生成することを目的とした放射線学レポート生成。 典型的な設定は、エンコーダとデコーダのモデルを、クロスエントロピー損失のあるイメージレポートペアでトレーニングする。 本稿では,医療報告生成におけるコントラスト損失の弱化について提案する。
  論文  参考訳（メタデータ） (2021-09-25T00:06:23Z)
• Unifying Relational Sentence Generation and Retrieval for Medical Image Report Composition [142.42920413017163]
  現在の手法は、個々のケースのデータセットバイアスにより、しばしば最も一般的な文を生成する。 テンプレート検索と文生成を一体化し、共通およびまれな異常に対処する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-09T04:33:27Z)
• Learning Visual-Semantic Embeddings for Reporting Abnormal Findings on Chest X-rays [6.686095511538683]
  本研究は放射線画像の異常所見の報告に焦点を当てる。 本稿では, レポートから異常な発見を識別し, 教師なしクラスタリングと最小限のルールで分類する手法を提案する。 本手法は, 異常所見を回収し, 臨床正当性およびテキスト生成量の両方で既存の世代モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-06T04:18:18Z)
• Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation [107.3538598876467]
  放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。 ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
  論文  参考訳（メタデータ） (2020-06-06T01:00:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。