論文の概要: RIHA: Report-Image Hierarchical Alignment for Radiology Report Generation

• arxiv url: http://arxiv.org/abs/2604.27559v1
• Date: Thu, 30 Apr 2026 08:08:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:53.985116
• Title: RIHA: Report-Image Hierarchical Alignment for Radiology Report Generation
• Title（参考訳）: RIHA「放射線学レポート生成のための階層的アライメント」
• Authors: Yucheng Chen, Yang Yu, Yufei Shi, Conghao Xiong, Xulei Yang, Si Yong Yeo,
• Abstract要約: 放射線学報告生成(RRG)は、放射線学者の作業負荷を軽減し、人的ミスを減らすための有望なアプローチとして浮上している。 RRGにおける重要な課題は、複雑な視覚特徴と長大な画像診断レポートの構造を微調整することである。 放射線画像とそれに対応するレポートを多レベルにアライメントする新しいエンドツーエンドフレームワークであるRIHAを提案する。
• 参考スコア（独自算出の注目度）: 14.781219175876883
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Radiology report generation (RRG) has emerged as a promising approach to alleviate radiologists' workload and reduce human errors by automatically generating diagnostic reports from medical images. A key challenge in RRG is achieving fine-grained alignment between complex visual features and the hierarchical structure of long-form radiology reports. Although recent methods have improved image-text representation learning, they often treat reports as flat sequences, overlooking their structured sections and semantic hierarchies. This simplification hinders precise cross-modal alignment and weakens RRG accuracy. To address this challenge, we propose RIHA (Report-Image Hierarchical Alignment Transformer), a novel end-to-end framework that performs multi-level alignment between radiological images and their corresponding reports across paragraph, sentence, and word levels. This hierarchical alignment enables more precise cross-modal mapping, essential for capturing the nuanced semantics embedded in clinical narratives. Specifically, RIHA introduces a Visual Feature Pyramid (VFP) to extract multi-scale visual features and a Text Feature Pyramid (TFP) to represent multi-granularity textual structures. These components are integrated through a Cross-modal Hierarchical Alignment (CHA) module, leveraging optimal transport to effectively align visual and textual features across various levels. Furthermore, we incorporate Relative Positional Encoding (RPE) into the decoder to model spatial and semantic relationships among tokens, enhancing the token-level alignment between visual features and generated text. Extensive experiments on two benchmark chest X-ray datasets, IU-Xray and MIMIC-CXR, demonstrate that RIHA outperforms existing state-of-the-art models in both natural language generation and clinical efficacy metrics.
• Abstract（参考訳）: 放射線医学報告生成(RRG)は、放射線医の作業負荷を軽減し、医療画像から診断レポートを自動生成することで人的ミスを減らすための有望なアプローチとして浮上している。 RRGの鍵となる課題は、複雑な視覚的特徴と長方形放射線検査の階層構造を微調整することである。 最近の手法は画像テキスト表現学習を改善しているが、レポートをフラットなシーケンスとして扱い、構造化されたセクションやセマンティック階層を見渡すことが多い。 この単純化は、正確なクロスモーダルアライメントを阻害し、RRGの精度を低下させる。 この課題に対処するために,RIHA(Report-Image Hierarchical Alignment Transformer)を提案する。 この階層的なアライメントは、より正確なクロスモーダルマッピングを可能にし、臨床物語に埋め込まれたニュアンスドセマンティクスを捉えるのに不可欠である。 具体的には、マルチスケールな視覚的特徴を抽出するための視覚的特徴ピラミッド(VFP)と、多粒性テキスト構造を表現するためのテキスト特徴ピラミッド(TFP)を紹介する。 これらのコンポーネントは、Cross-modal Hierarchical Alignment (CHA)モジュールを通じて統合され、最適なトランスポートを活用して、様々なレベルの視覚的特徴とテキスト的特徴を効果的に整合させる。 さらに,Relative Positional Encoding (RPE) をデコーダに組み込んでトークン間の空間的および意味的関係をモデル化し,視覚的特徴と生成されたテキスト間のトークンレベルのアライメントを向上させる。 2つのベンチマーク胸部X線データセット(IU-XrayとMIMIC-CXR)の大規模な実験により、RIHAは、自然言語の生成と臨床効果の測定の両方において、既存の最先端モデルよりも優れていることが示された。

関連論文リスト

• Structure Observation Driven Image-Text Contrastive Learning for Computed Tomography Report Generation [51.509572354327986]
  本稿では,CTRG(Computed Tomography Report Generation)に適した新しい2段階(構造とレポートの学習)フレームワークを提案する。 第1段階では、CT画像中の対応する構造を学習可能な構造特異的な視覚的クエリーの集合を観察し、その結果として得られる観察トークンと、それに伴う放射線学レポートから抽出された構造特異的なテキスト特徴とを、構造的に画像テキストのコントラストロスとで対比する。 第2段階では、視覚構造クエリを凍結し、各解剖学的構造を描写したクリティカルイメージパッチ埋め込みを選択するために使用し、メモリ消費を低減しつつ、無関係領域からの注意を最小化する。
  論文  参考訳（メタデータ） (2026-03-05T07:07:07Z)
• Unify, Align and Refine: Multi-Level Semantic Alignment for Radiology Report Generation [48.723504098917324]
  マルチレベル・クロスモーダルアライメントを学習するためのUnify, Align, then Refine (UAR)アプローチを提案する。 本稿では,Latent Space Unifier,Cross-modal Representation Aligner,Text-to-Image Refinerの3つの新しいモジュールを紹介する。 IU-XrayおよびMIMIC-CXRベンチマークデータセットの実験と解析は、UARの様々な最先端手法に対する優位性を実証している。
  論文  参考訳（メタデータ） (2023-03-28T12:42:12Z)
• Cross-Modal Causal Intervention for Medical Report Generation [107.76649943399168]
  放射線医学報告生成(RRG)は, コンピュータ支援診断と薬剤指導に不可欠である。 視覚言語的バイアスによる急激な相関により、正確な病変記述の生成は依然として困難である。 我々はCrossModal Causal Representation Learning (CMCRL)という2段階のフレームワークを提案する。 IU-XrayとMIMIC-CXRの実験により、我々のCMCRLパイプラインは最先端の手法よりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2023-03-16T07:23:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。