論文の概要: Lesion Guided Explainable Few Weak-shot Medical Report Generation

• arxiv url: http://arxiv.org/abs/2211.08732v2
• Date: Thu, 17 Nov 2022 06:48:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 12:52:24.298921
• Title: Lesion Guided Explainable Few Weak-shot Medical Report Generation
• Title（参考訳）: 説明不能な軽微な医療報告を要した病変ガイド
• Authors: Jinghan Sun, Dong Wei, Liansheng Wang, and Yefeng Zheng
• Abstract要約: 本報告では, 病状ガイドによる説明が可能で, 弱ショット医療報告生成フレームワークを提案する。 視覚的特徴アライメントと意味的特徴アライメントによって、目と新しいクラス間の相関を学習する。 研修で観察されていない病気の医療報告を作成することを目的としている。
• 参考スコア（独自算出の注目度）: 25.15493013683396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Medical images are widely used in clinical practice for diagnosis. Automatically generating interpretable medical reports can reduce radiologists' burden and facilitate timely care. However, most existing approaches to automatic report generation require sufficient labeled data for training. In addition, the learned model can only generate reports for the training classes, lacking the ability to adapt to previously unseen novel diseases. To this end, we propose a lesion guided explainable few weak-shot medical report generation framework that learns correlation between seen and novel classes through visual and semantic feature alignment, aiming to generate medical reports for diseases not observed in training. It integrates a lesion-centric feature extractor and a Transformer-based report generation module. Concretely, the lesion-centric feature extractor detects the abnormal regions and learns correlations between seen and novel classes with multi-view (visual and lexical) embeddings. Then, features of the detected regions and corresponding embeddings are concatenated as multi-view input to the report generation module for explainable report generation, including text descriptions and corresponding abnormal regions detected in the images. We conduct experiments on FFA-IR, a dataset providing explainable annotations, showing that our framework outperforms others on report generation for novel diseases.
• Abstract（参考訳）: 医療画像は臨床診断に広く用いられている。 解釈可能な医療報告の自動生成は、放射線医の負担を軽減し、タイムリーなケアを容易にする。 しかし、既存のレポート自動生成手法では、トレーニングに十分なラベル付きデータが必要である。 さらに、学習したモデルはトレーニングクラスのレポートのみを生成することができ、これまで見つからなかった新しい病気に適応する能力に欠ける。 そこで本研究では,視覚的特徴アライメントと意味的特徴アライメントを通じて,目と新しいクラス間の相関関係を学習し,トレーニング中に観察されない疾患の医療報告を生成するための,弱ショットな医療レポート生成フレームワークを提案する。 病変中心の特徴抽出器とトランスフォーマティブベースのレポート生成モジュールを統合する。 具体的には、病変中心の特徴抽出器が異常領域を検出し、多視点(視覚的および語彙的)埋め込みによる目新しいクラス間の相関を学習する。 そして、検出された領域と対応する埋め込みの特徴をレポート生成モジュールへのマルチビュー入力として連結し、画像中に検出されたテキスト記述及び対応する異常領域を含む説明可能なレポート生成を行う。 解説可能なアノテーションを提供するデータセットであるFFA-IRの実験を行い、本フレームワークが新規疾患の報告生成において他者より優れていることを示す。

関連論文リスト

• Contrastive Learning with Counterfactual Explanations for Radiology Report Generation [83.30609465252441]
  放射線学レポート生成のためのtextbfCountertextbfFactual textbfExplanations-based framework (CoFE) を提案する。 反現実的な説明は、アルゴリズムによってなされた決定をどのように変えられるかを理解するための強力なツールとして、シナリオが何であるかを問うことによって役立ちます。 2つのベンチマークの実験では、反ファクト的な説明を活用することで、CoFEは意味的に一貫性があり、事実的に完全なレポートを生成することができる。
  論文  参考訳（メタデータ） (2024-07-19T17:24:25Z)
• MedCycle: Unpaired Medical Report Generation via Cycle-Consistency [11.190146577567548]
  一貫性のあるラベリングスキーマを必要としない革新的なアプローチを導入する。 このアプローチは、画像埋め込みをレポート埋め込みに変換するサイクル一貫性マッピング関数に基づいている。 胸部X線所見の発生は、最先端の結果よりも優れており、言語と臨床の両方の指標の改善が示されている。
  論文  参考訳（メタデータ） (2024-03-20T09:40:11Z)
• Controllable Chest X-Ray Report Generation from Longitudinal Representations [13.151444796296868]
  レポートをスピードアップする1つの戦略は、自動レポートシステムを統合することである。 自動放射線診断への従来のアプローチは、入力として事前の研究を提供していないのが一般的である。 筆者らは,(1) 縦断学習 -- マルチモーダルレポート生成モデルに提供可能な関節長手表現に,現在のスキャン情報と先行スキャン情報を整合し,活用する手法を提案する。(2) 文解剖学的ドロップアウト -- レポート生成モデルを用いて,入力として与えられた解剖学的領域のサブセットに対応する元のレポートからのみ文を予測する訓練戦略。
  論文  参考訳（メタデータ） (2023-10-09T17:22:58Z)
• Dynamic Graph Enhanced Contrastive Learning for Chest X-ray Report Generation [92.73584302508907]
  コントラスト学習を用いた医療レポート作成を支援するために,動的構造とノードを持つ知識グラフを提案する。 詳しくは、グラフの基本構造は一般知識から事前構築される。 各イメージ機能は、レポート生成のためにデコーダモジュールに入力する前に、独自の更新グラフに統合される。
  論文  参考訳（メタデータ） (2023-03-18T03:53:43Z)
• Cross-Modal Causal Intervention for Medical Report Generation [109.83549148448469]
  医療報告生成(MRG)は、コンピュータ支援診断と治療指導に不可欠である。 視覚的および言語的バイアスによって引き起こされる画像テキストデータ内の素早い相関のため、病変領域を確実に記述した正確なレポートを生成することは困難である。 本稿では,視覚分解モジュール (VDM) と言語分解モジュール (LDM) からなるMRGのための新しい視覚言語因果干渉 (VLCI) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-16T07:23:55Z)
• Weakly Supervised Contrastive Learning for Chest X-Ray Report Generation [3.3978173451092437]
  放射線画像から記述テキストを自動的に生成することを目的とした放射線学レポート生成。 典型的な設定は、エンコーダとデコーダのモデルを、クロスエントロピー損失のあるイメージレポートペアでトレーニングする。 本稿では,医療報告生成におけるコントラスト損失の弱化について提案する。
  論文  参考訳（メタデータ） (2021-09-25T00:06:23Z)
• Variational Topic Inference for Chest X-Ray Report Generation [102.04931207504173]
  医療画像のレポート生成は、作業負荷を減らし、臨床実習における診断を支援することを約束する。 近年の研究では、ディープラーニングモデルが自然画像のキャプションに成功していることが示された。 本稿では,自動レポート生成のための変分トピック推論を提案する。
  論文  参考訳（メタデータ） (2021-07-15T13:34:38Z)
• Unifying Relational Sentence Generation and Retrieval for Medical Image Report Composition [142.42920413017163]
  現在の手法は、個々のケースのデータセットバイアスにより、しばしば最も一般的な文を生成する。 テンプレート検索と文生成を一体化し、共通およびまれな異常に対処する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-09T04:33:27Z)
• Learning Visual-Semantic Embeddings for Reporting Abnormal Findings on Chest X-rays [6.686095511538683]
  本研究は放射線画像の異常所見の報告に焦点を当てる。 本稿では, レポートから異常な発見を識別し, 教師なしクラスタリングと最小限のルールで分類する手法を提案する。 本手法は, 異常所見を回収し, 臨床正当性およびテキスト生成量の両方で既存の世代モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-06T04:18:18Z)
• Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation [107.3538598876467]
  放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。 ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
  論文  参考訳（メタデータ） (2020-06-06T01:00:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。