論文の概要: Contrastive Learning with Counterfactual Explanations for Radiology Report Generation

• arxiv url: http://arxiv.org/abs/2407.14474v1
• Date: Fri, 19 Jul 2024 17:24:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 16:45:36.977667
• Title: Contrastive Learning with Counterfactual Explanations for Radiology Report Generation
• Title（参考訳）: 放射線学レポート生成のための対実的説明を用いたコントラスト学習
• Authors: Mingjie Li, Haokun Lin, Liang Qiu, Xiaodan Liang, Ling Chen, Abdulmotaleb Elsaddik, Xiaojun Chang,
• Abstract要約: 放射線学レポート生成のためのtextbfCountertextbfFactual textbfExplanations-based framework (CoFE) を提案する。 反現実的な説明は、アルゴリズムによってなされた決定をどのように変えられるかを理解するための強力なツールとして、シナリオが何であるかを問うことによって役立ちます。 2つのベンチマークの実験では、反ファクト的な説明を活用することで、CoFEは意味的に一貫性があり、事実的に完全なレポートを生成することができる。
• 参考スコア（独自算出の注目度）: 83.30609465252441
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Due to the common content of anatomy, radiology images with their corresponding reports exhibit high similarity. Such inherent data bias can predispose automatic report generation models to learn entangled and spurious representations resulting in misdiagnostic reports. To tackle these, we propose a novel \textbf{Co}unter\textbf{F}actual \textbf{E}xplanations-based framework (CoFE) for radiology report generation. Counterfactual explanations serve as a potent tool for understanding how decisions made by algorithms can be changed by asking ``what if'' scenarios. By leveraging this concept, CoFE can learn non-spurious visual representations by contrasting the representations between factual and counterfactual images. Specifically, we derive counterfactual images by swapping a patch between positive and negative samples until a predicted diagnosis shift occurs. Here, positive and negative samples are the most semantically similar but have different diagnosis labels. Additionally, CoFE employs a learnable prompt to efficiently fine-tune the pre-trained large language model, encapsulating both factual and counterfactual content to provide a more generalizable prompt representation. Extensive experiments on two benchmarks demonstrate that leveraging the counterfactual explanations enables CoFE to generate semantically coherent and factually complete reports and outperform in terms of language generation and clinical efficacy metrics.
• Abstract（参考訳）: 解剖学の共通する内容から, 放射線画像とそれに対応する報告は類似性が高い。 このような本質的なデータバイアスは, 絡み合った, 急激な表現を学習するために, 自動レポート生成モデルを前提とすることができる。 このような問題に対処するために,放射線学レポート生成のための新しいフレームワークである『textbf{Co}unter\textbf{F}actual \textbf{E}xplanations-based framework』(CoFE)を提案する。 反現実的な説明は、アルゴリズムによってなされた決定をどのように変えられるかを理解するための強力なツールとなる。 この概念を活用することで、CoFEは実写画像と偽写画像の表現を対比することで、不明瞭な視覚表現を学習することができる。 具体的には、予測された診断シフトが起こるまで、正と負のサンプルのパッチを交換することで、対物画像の導出を行う。 ここでは、正と負のサンプルが最も意味的に似ているが、診断ラベルが異なる。 さらに、CoFEは学習可能なプロンプトを使用して、事前訓練された大きな言語モデルを効率的に微調整し、事実と反事実の両方をカプセル化し、より一般化可能なプロンプト表現を提供する。 2つのベンチマークによる大規模な実験により、CoFEは、言語生成と臨床効果指標の点で、意味論的に一貫性があり、事実的に完全なレポートを生成し、性能を上回ることが示される。

関連論文リスト

• MedCycle: Unpaired Medical Report Generation via Cycle-Consistency [11.190146577567548]
  一貫性のあるラベリングスキーマを必要としない革新的なアプローチを導入する。 このアプローチは、画像埋め込みをレポート埋め込みに変換するサイクル一貫性マッピング関数に基づいている。 胸部X線所見の発生は、最先端の結果よりも優れており、言語と臨床の両方の指標の改善が示されている。
  論文  参考訳（メタデータ） (2024-03-20T09:40:11Z)
• C^2M-DoT: Cross-modal consistent multi-view medical report generation with domain transfer network [67.97926983664676]
  ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。 C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2023-10-09T02:31:36Z)
• Robust and Interpretable Medical Image Classifiers via Concept Bottleneck Models [49.95603725998561]
  本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。 具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
  論文  参考訳（メタデータ） (2023-10-04T21:57:09Z)
• Cross-modal Clinical Graph Transformer for Ophthalmic Report Generation [116.87918100031153]
  眼科報告生成(ORG)のためのクロスモーダルな臨床グラフ変換器(CGT)を提案する。 CGTは、デコード手順を駆動する事前知識として、臨床関係を視覚特徴に注入する。 大規模FFA-IRベンチマークの実験は、提案したCGTが従来のベンチマーク手法より優れていることを示した。
  論文  参考訳（メタデータ） (2022-06-04T13:16:30Z)
• Weakly Supervised Contrastive Learning for Chest X-Ray Report Generation [3.3978173451092437]
  放射線画像から記述テキストを自動的に生成することを目的とした放射線学レポート生成。 典型的な設定は、エンコーダとデコーダのモデルを、クロスエントロピー損失のあるイメージレポートペアでトレーニングする。 本稿では,医療報告生成におけるコントラスト損失の弱化について提案する。
  論文  参考訳（メタデータ） (2021-09-25T00:06:23Z)
• CLIFF: Contrastive Learning for Improving Faithfulness and Factuality in Abstractive Summarization [6.017006996402699]
  我々は、与えられた記事に忠実で事実に整合した抽象的な要約を生成することを研究する。 参照要約を正のトレーニングデータとして活用し、誤要約を負のトレーニングデータとして自動生成し、両者を区別し易い要約システムを訓練する、新しいコントラスト学習定式化を提案する。
  論文  参考訳（メタデータ） (2021-09-19T20:05:21Z)
• Variational Topic Inference for Chest X-Ray Report Generation [102.04931207504173]
  医療画像のレポート生成は、作業負荷を減らし、臨床実習における診断を支援することを約束する。 近年の研究では、ディープラーニングモデルが自然画像のキャプションに成功していることが示された。 本稿では,自動レポート生成のための変分トピック推論を提案する。
  論文  参考訳（メタデータ） (2021-07-15T13:34:38Z)
• Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
  マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。 共通情報と相補情報の両方を敵意で抽出することを目的としている。 特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
  論文  参考訳（メタデータ） (2021-02-15T18:46:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。