論文の概要: Learning to See Locally and Align Clinically with Pathology Semantics for Radiology Report Generation
- arxiv url: http://arxiv.org/abs/2608.00279v1
- Date: Fri, 31 Jul 2026 20:31:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 21:56:46.3648
- Title: Learning to See Locally and Align Clinically with Pathology Semantics for Radiology Report Generation
- Title(参考訳): 放射線学レポート作成のための病的セマンティックスによる局所的および異常な臨床診断の学習
- Abstract要約: 放射線学レポート生成のための病理アライメントフレームワークであるPALMを提案する。
PALMは、共有病理学のプロトタイプを通じて視覚的およびテキスト的特徴を整列する。
MIMIC-CXR、IU X-Ray、MIMIC-ABNの実験は、PALMがレポート生成と異常に焦点を絞った堅牢性の両方を一貫して改善していることを示している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent radiology-adapted vision-language models have achieved strong performance on standard report generation benchmarks, yet their robustness and generalization remain constrained by imperfect alignment and correlation between visual and textual features. Existing methods connect image and text either implicitly through autoregressive report supervision or explicitly through contrastive learning. However, autoregressive supervision alone is insufficient to establish reliable image-text alignment, while contrastive learning can push apart unpaired reports that describe related pathologies simply because they are not paired with the same image. This is problematic in radiology, where different reports may share compatible pathology semantics rather than being true negatives. As a result, the learned representation may fail to organize images and reports around shared pathology concepts, causing the decoder to rely on pretrained language priors and generate clinically plausible reports that are not fully supported by radiographic evidence. To address this issue, we propose PALM, a pathology-aware alignment framework for radiology report generation. Instead of directly matching each image-report pair while separating all others, PALM aligns visual and textual features through shared pathology prototypes. These prototypes provide a clinically meaningful bridge between radiographic evidence and textual findings, allowing cases with similar pathology semantics to move toward common concepts without separating compatible cases. In addition, we introduce Masked Evidence Modeling to strengthen the image encoder sensitivity to local radiographic evidence by learning semantic changes caused by masked image regions. Experiments on MIMIC-CXR, IU X-Ray, and MIMIC-ABN show that PALM consistently improves both report generation and abnormality-focused robustness.
- Abstract(参考訳): 最近の放射線学に適応した視覚言語モデルは、標準的なレポート生成ベンチマークで強い性能を達成しているが、その頑健さと一般化は、不完全なアライメントと視覚的特徴とテキスト的特徴の相関によって制約されている。
既存の方法は、自己回帰レポートの監督を通じて暗黙的に画像とテキストを結びつけるか、あるいは対照的な学習を通して明示的に接続する。
しかし, 自己回帰的管理だけでは, 信頼性の高い画像テキストアライメントを確立するには不十分であり, 対照的な学習は, 同じ画像と組み合わせていないだけで, 関連疾患を記述した報告を分割することができる。
これは放射線学において問題であり、様々な報告が真陰性ではなく相反する病理学的意味を共有できる。
結果として、学習された表現は共有された病理概念に関する画像や報告の整理に失敗し、デコーダは事前訓練された言語に頼り、X線学的証拠に完全に支えられていない臨床的に妥当な報告を生成する。
そこで我々は,放射線学レポート生成のための病理アライメントフレームワークであるPALMを提案する。
PALMは他の全てを分離しながら、画像とレポートのペアを直接マッチングする代わりに、共有された病理のプロトタイプを通じて視覚的特徴とテキスト的特徴を整列させる。
これらのプロトタイプは、放射線学的証拠とテキスト所見の間に臨床的に有意義な橋渡しを提供し、類似の病理学的意味を持つ患者は、互換性のある症例を分離することなく共通の概念に移行することができる。
さらに,マスク画像領域による意味的変化を学習することで,局所的画像証拠に対する画像エンコーダの感度を高めるためのマスケエビデンス・モデリングを導入する。
MIMIC-CXR、IU X-Ray、MIMIC-ABNの実験は、PALMがレポート生成と異常に焦点を絞った堅牢性の両方を一貫して改善していることを示している。
関連論文リスト
- Structure Observation Driven Image-Text Contrastive Learning for Computed Tomography Report Generation [51.509572354327986]
本稿では,CTRG(Computed Tomography Report Generation)に適した新しい2段階(構造とレポートの学習)フレームワークを提案する。
第1段階では、CT画像中の対応する構造を学習可能な構造特異的な視覚的クエリーの集合を観察し、その結果として得られる観察トークンと、それに伴う放射線学レポートから抽出された構造特異的なテキスト特徴とを、構造的に画像テキストのコントラストロスとで対比する。
第2段階では、視覚構造クエリを凍結し、各解剖学的構造を描写したクリティカルイメージパッチ埋め込みを選択するために使用し、メモリ消費を低減しつつ、無関係領域からの注意を最小化する。
論文 参考訳(メタデータ) (2026-03-05T07:07:07Z) - DART: Disease-aware Image-Text Alignment and Self-correcting Re-alignment for Trustworthy Radiology Report Generation [2.9390507641602364]
本稿では,DART (Trustworthy Radiology Report Generation) のための病的画像テキストアライメントと自己修正型アライメントを提案する。
提案フレームワークは,2つの広く使用されているベンチマークにおいて,レポート生成と臨床効果指標の両面で,これまでのアプローチを上回り,最先端の結果を達成している。
論文 参考訳(メタデータ) (2025-04-16T05:39:08Z) - Improving Factuality of 3D Brain MRI Report Generation with Paired Image-domain Retrieval and Text-domain Augmentation [42.13004422063442]
急性虚血性脳梗塞(AIS)は、時間的クリティカルな管理を必要とし、数時間の介入が遅れて、患者の不可逆的な障害につながる。
磁気共鳴画像(MRI)を用いた拡散強調画像(DWI)はAISの検出において重要な役割を担っているため,DWIからのAISの自動予測は臨床的に重要な課題となっている。
画像所見から最も関連性の高い臨床情報を含むテキストラジオグラフィー報告では, 従来のDWI-to-report 生成法では, 異なるモダリティのマッピングが困難であった。
論文 参考訳(メタデータ) (2024-11-23T08:18:55Z) - Contrastive Learning with Counterfactual Explanations for Radiology Report Generation [83.30609465252441]
放射線学レポート生成のためのtextbfCountertextbfFactual textbfExplanations-based framework (CoFE) を提案する。
反現実的な説明は、アルゴリズムによってなされた決定をどのように変えられるかを理解するための強力なツールとして、シナリオが何であるかを問うことによって役立ちます。
2つのベンチマークの実験では、反ファクト的な説明を活用することで、CoFEは意味的に一貫性があり、事実的に完全なレポートを生成することができる。
論文 参考訳(メタデータ) (2024-07-19T17:24:25Z) - MedCycle: Unpaired Medical Report Generation via Cycle-Consistency [11.190146577567548]
一貫性のあるラベリングスキーマを必要としない革新的なアプローチを導入する。
このアプローチは、画像埋め込みをレポート埋め込みに変換するサイクル一貫性マッピング関数に基づいている。
胸部X線所見の発生は、最先端の結果よりも優れており、言語と臨床の両方の指標の改善が示されている。
論文 参考訳(メタデータ) (2024-03-20T09:40:11Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳(メタデータ) (2023-11-18T14:52:26Z) - Reading Radiology Imaging Like The Radiologist [3.218449686637963]
我々は、より正確で現実的に整合性のある疾患記述を生成するために、事実整合キャプションジェネレータを設計する。
本研究の枠組みは,病型指向マスクの検索により,CXRデータベースから最も類似した疾患の報告を見つけることができる。
論文 参考訳(メタデータ) (2023-07-12T05:36:47Z) - Multimodal Image-Text Matching Improves Retrieval-based Chest X-Ray
Report Generation [3.6664023341224827]
X-REM (Contrastive X-Ray Report Match) は、X-REM (X-REM) という新しい検索方式の放射線学レポート生成モジュールである。
X-REMは、胸部X線画像の類似度を測定するための画像テキストマッチングスコアと、レポート検索のための放射線診断レポートを使用する。
論文 参考訳(メタデータ) (2023-03-29T04:00:47Z) - Cross-Modal Causal Intervention for Medical Report Generation [107.76649943399168]
放射線医学報告生成(RRG)は, コンピュータ支援診断と薬剤指導に不可欠である。
視覚言語的バイアスによる急激な相関により、正確な病変記述の生成は依然として困難である。
我々はCrossModal Causal Representation Learning (CMCRL)という2段階のフレームワークを提案する。
IU-XrayとMIMIC-CXRの実験により、我々のCMCRLパイプラインは最先端の手法よりも大幅に優れていることが示された。
論文 参考訳(メタデータ) (2023-03-16T07:23:55Z) - Variational Topic Inference for Chest X-Ray Report Generation [102.04931207504173]
医療画像のレポート生成は、作業負荷を減らし、臨床実習における診断を支援することを約束する。
近年の研究では、ディープラーニングモデルが自然画像のキャプションに成功していることが示された。
本稿では,自動レポート生成のための変分トピック推論を提案する。
論文 参考訳(メタデータ) (2021-07-15T13:34:38Z) - Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report
Generation [107.3538598876467]
放射線技師の動作パターンを模倣する補助信号誘導知識デコーダ(ASGK)を提案する。
ASGKは、内的特徴融合と外部医療言語情報を統合して、医療知識の伝達と学習をガイドする。
論文 参考訳(メタデータ) (2020-06-06T01:00:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。