論文の概要: RIHA: Report-Image Hierarchical Alignment for Radiology Report Generation
- arxiv url: http://arxiv.org/abs/2604.27559v1
- Date: Thu, 30 Apr 2026 08:08:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-01 16:31:53.985116
- Title: RIHA: Report-Image Hierarchical Alignment for Radiology Report Generation
- Title（参考訳）: RIHA「放射線学レポート生成のための階層的アライメント」
- Abstract要約: 放射線学報告生成(RRG)は、放射線学者の作業負荷を軽減し、人的ミスを減らすための有望なアプローチとして浮上している。
RRGにおける重要な課題は、複雑な視覚特徴と長大な画像診断レポートの構造を微調整することである。
放射線画像とそれに対応するレポートを多レベルにアライメントする新しいエンドツーエンドフレームワークであるRIHAを提案する。
- 参考スコア（独自算出の注目度）: 14.781219175876883
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Radiology report generation (RRG) has emerged as a promising approach to alleviate radiologists' workload and reduce human errors by automatically generating diagnostic reports from medical images. A key challenge in RRG is achieving fine-grained alignment between complex visual features and the hierarchical structure of long-form radiology reports. Although recent methods have improved image-text representation learning, they often treat reports as flat sequences, overlooking their structured sections and semantic hierarchies. This simplification hinders precise cross-modal alignment and weakens RRG accuracy. To address this challenge, we propose RIHA (Report-Image Hierarchical Alignment Transformer), a novel end-to-end framework that performs multi-level alignment between radiological images and their corresponding reports across paragraph, sentence, and word levels. This hierarchical alignment enables more precise cross-modal mapping, essential for capturing the nuanced semantics embedded in clinical narratives. Specifically, RIHA introduces a Visual Feature Pyramid (VFP) to extract multi-scale visual features and a Text Feature Pyramid (TFP) to represent multi-granularity textual structures. These components are integrated through a Cross-modal Hierarchical Alignment (CHA) module, leveraging optimal transport to effectively align visual and textual features across various levels. Furthermore, we incorporate Relative Positional Encoding (RPE) into the decoder to model spatial and semantic relationships among tokens, enhancing the token-level alignment between visual features and generated text. Extensive experiments on two benchmark chest X-ray datasets, IU-Xray and MIMIC-CXR, demonstrate that RIHA outperforms existing state-of-the-art models in both natural language generation and clinical efficacy metrics.
- Abstract（参考訳）: 放射線医学報告生成(RRG)は、放射線医の作業負荷を軽減し、医療画像から診断レポートを自動生成することで人的ミスを減らすための有望なアプローチとして浮上している。
RRGの鍵となる課題は、複雑な視覚的特徴と長方形放射線検査の階層構造を微調整することである。
最近の手法は画像テキスト表現学習を改善しているが、レポートをフラットなシーケンスとして扱い、構造化されたセクションやセマンティック階層を見渡すことが多い。
この単純化は、正確なクロスモーダルアライメントを阻害し、RRGの精度を低下させる。
この課題に対処するために,RIHA(Report-Image Hierarchical Alignment Transformer)を提案する。
この階層的なアライメントは、より正確なクロスモーダルマッピングを可能にし、臨床物語に埋め込まれたニュアンスドセマンティクスを捉えるのに不可欠である。
具体的には、マルチスケールな視覚的特徴を抽出するための視覚的特徴ピラミッド(VFP)と、多粒性テキスト構造を表現するためのテキスト特徴ピラミッド(TFP)を紹介する。
これらのコンポーネントは、Cross-modal Hierarchical Alignment (CHA)モジュールを通じて統合され、最適なトランスポートを活用して、様々なレベルの視覚的特徴とテキスト的特徴を効果的に整合させる。
さらに,Relative Positional Encoding (RPE) をデコーダに組み込んでトークン間の空間的および意味的関係をモデル化し,視覚的特徴と生成されたテキスト間のトークンレベルのアライメントを向上させる。
2つのベンチマーク胸部X線データセット(IU-XrayとMIMIC-CXR)の大規模な実験により、RIHAは、自然言語の生成と臨床効果の測定の両方において、既存の最先端モデルよりも優れていることが示された。
関連論文リスト
- Layout-Guided Controllable Pathology Image Generation with In-Context Diffusion Transformers [57.54843029965778]
制御可能な病理画像合成には、空間配置、組織形態、意味的詳細の信頼できる規制が必要である。
In-Context Diffusion Transformer (IC-DiT) は,空間レイアウト,テキスト記述,視覚的埋め込みを統合拡散変換器に組み込んだレイアウト認識生成モデルである。
IC-DiTは既存の方法よりも忠実度が高く、空間制御性が強く、診断の整合性が良くなる。
論文 参考訳（メタデータ） (2026-03-11T06:14:11Z) - Structure Observation Driven Image-Text Contrastive Learning for Computed Tomography Report Generation [51.509572354327986]
本稿では,CTRG(Computed Tomography Report Generation)に適した新しい2段階(構造とレポートの学習)フレームワークを提案する。
第1段階では、CT画像中の対応する構造を学習可能な構造特異的な視覚的クエリーの集合を観察し、その結果として得られる観察トークンと、それに伴う放射線学レポートから抽出された構造特異的なテキスト特徴とを、構造的に画像テキストのコントラストロスとで対比する。
第2段階では、視覚構造クエリを凍結し、各解剖学的構造を描写したクリティカルイメージパッチ埋め込みを選択するために使用し、メモリ消費を低減しつつ、無関係領域からの注意を最小化する。
論文 参考訳（メタデータ） (2026-03-05T07:07:07Z) - SimCroP: Radiograph Representation Learning with Similarity-driven Cross-granularity Pre-training [25.763109982379703]
胸部CTにおける類似性駆動型クロスグラニュラリティ事前学習フレームワークを提案する。
類似性駆動アライメントとクロスグラニュラリティ融合を組み合わせて、ラジオグラフィーの解釈を改善する。
SimCroPは、大規模なペアCTレポートデータセットで事前トレーニングされ、画像分類とセグメンテーションタスクで検証される。
論文 参考訳（メタデータ） (2025-09-10T06:20:53Z) - Bridging Vision and Language: Optimal Transport-Driven Radiology Report Generation via LLMs [4.273291010923853]
大規模言語モデル(LLM)は、様々な領域で顕著な性能を示している。
本稿では, 画像特徴を報告から抽出した疾患ラベルと整合させるため, OTDRG(Optimal Transport-Driven Radiology Report Generation)を提案する。
OTDRGは、自然言語生成(NLG)と臨床効果(CE)の両方で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-07-05T05:48:48Z) - Anatomical Attention Alignment representation for Radiology Report Generation [10.887845017050477]
Anatomical Attention Alignment Network (A3Net)は、超視覚的表現を構築することで視覚的テキスト理解を強化するフレームワークである。
本手法では,解剖学的構造とパッチレベルの視覚的特徴の知識辞書を統合し,画像領域を対応する解剖学的実体と効果的に関連付けることができる。
IU X-RayとMIMIC-CXRデータセットの実験結果から、A3Netは視覚知覚とテキスト生成品質の両方を著しく改善することが示された。
論文 参考訳（メタデータ） (2025-05-12T15:54:50Z) - RadIR: A Scalable Framework for Multi-Grained Medical Image Retrieval via Radiology Report Mining [64.66825253356869]
本稿では,複数の粒度で画像の類似度を決定するために,高密度ラジオロジーレポートを利用した新しい手法を提案する。
我々は、胸部X線用MIMIC-IRとCTスキャン用CTRATE-IRの2つの総合的な医用画像検索データセットを構築した。
RadIR-CXR と Model-ChestCT という2つの検索システムを開発し,従来の画像画像検索と画像レポート検索に優れた性能を示す。
論文 参考訳（メタデータ） (2025-03-06T17:43:03Z) - SERPENT-VLM : Self-Refining Radiology Report Generation Using Vision Language Models [9.390882250428305]
放射線学報告生成(R2Gen)は、マルチモーダル大言語モデル(MLLM)が正確で一貫性のある放射線学レポートの作成をいかに自動化できるかを示す。
既存の方法は、しばしば画像内容を正確に反映しないテキストベースのレポートで詳細を幻覚させる。
本稿では,自己修復機構をMLLMフレームワークに統合することにより,R2Genタスクを改善する新しい戦略を提案する。
論文 参考訳（メタデータ） (2024-04-27T13:46:23Z) - Radiology Report Generation Using Transformers Conditioned with
Non-imaging Data [55.17268696112258]
本稿では,胸部X線画像と関連する患者の人口統計情報を統合したマルチモーダルトランスフォーマーネットワークを提案する。
提案ネットワークは、畳み込みニューラルネットワークを用いて、CXRから視覚的特徴を抽出し、その視覚的特徴と患者の人口統計情報のセマンティックテキスト埋め込みを組み合わせたトランスフォーマーベースのエンコーダデコーダネットワークである。
論文 参考訳（メタデータ） (2023-11-18T14:52:26Z) - Unify, Align and Refine: Multi-Level Semantic Alignment for Radiology
Report Generation [48.723504098917324]
マルチレベル・クロスモーダルアライメントを学習するためのUnify, Align, then Refine (UAR)アプローチを提案する。
本稿では,Latent Space Unifier,Cross-modal Representation Aligner,Text-to-Image Refinerの3つの新しいモジュールを紹介する。
IU-XrayおよびMIMIC-CXRベンチマークデータセットの実験と解析は、UARの様々な最先端手法に対する優位性を実証している。
論文 参考訳（メタデータ） (2023-03-28T12:42:12Z) - Cross-Modal Causal Intervention for Medical Report Generation [107.76649943399168]
放射線医学報告生成(RRG)は, コンピュータ支援診断と薬剤指導に不可欠である。
視覚言語的バイアスによる急激な相関により、正確な病変記述の生成は依然として困難である。
我々はCrossModal Causal Representation Learning (CMCRL)という2段階のフレームワークを提案する。
IU-XrayとMIMIC-CXRの実験により、我々のCMCRLパイプラインは最先端の手法よりも大幅に優れていることが示された。
論文 参考訳（メタデータ） (2023-03-16T07:23:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。