論文の概要: MApLe: Multi-instance Alignment of Diagnostic Reports and Large Medical Images

• arxiv url: http://arxiv.org/abs/2604.13970v1
• Date: Wed, 15 Apr 2026 15:19:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.602769
• Title: MApLe: Multi-instance Alignment of Diagnostic Reports and Large Medical Images
• Title（参考訳）: MApLe:診断報告と大容量医用画像のマルチインスタンスアライメント
• Authors: Felicia Bader, Philipp Seeböck, Anastasia Bartashova, Ulrike Attenberger, Georg Langs,
• Abstract要約: マルチタスク・マルチインスタンス・ビジョン言語アライメントアプローチである。 我々は,MApLeが画像領域の調整に成功し,複数の診断所見が自由テキストで報告できることを示した。
• 参考スコア（独自算出の注目度）: 0.559446576113816
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In diagnostic reports, experts encode complex imaging data into clinically actionable information. They describe subtle pathological findings that are meaningful in their anatomical context. Reports follow relatively consistent structures, expressing diagnostic information with few words that are often associated with tiny but consequential image observations. Standard vision language models struggle to identify the associations between these informative text components and small locations in the images. Here, we propose "MApLe", a multi-task, multi-instance vision language alignment approach that overcomes these limitations. It disentangles the concepts of anatomical region and diagnostic finding, and links local image information to sentences in a patch-wise approach. Our method consists of a text embedding trained to capture anatomical and diagnostic concepts in sentences, a patch-wise image encoder conditioned on anatomical structures, and a multi-instance alignment of these representations. We demonstrate that MApLe can successfully align different image regions and multiple diagnostic findings in free-text reports. We show that our model improves the alignment performance compared to state-of-the-art baseline models when evaluated on several downstream tasks. The code is available at https://github.com/cirmuw/MApLe.
• Abstract（参考訳）: 診断報告では、専門家は複雑な画像データを臨床的に実行可能な情報にエンコードする。 解剖学的文脈において意味のある微妙な病理所見を記述している。 報告は比較的一貫した構造を辿り、小さなが連続的な画像観察と関連づけられる単語がほとんどない診断情報を表現している。 標準的な視覚言語モデルは、これらの情報的テキストコンポーネントと画像内の小さな位置との間の関連を識別するのに苦労する。 本稿では,これらの制約を克服するマルチタスク・マルチインスタンス・ビジョン言語アライメント手法である"MApLe"を提案する。 解剖学的領域の概念と診断の発見を解き、局所画像情報をパッチワイドアプローチで文にリンクする。 本手法は, 文中の解剖学的および診断的概念を捉えるために訓練されたテキスト埋め込みと, 解剖学的構造を条件としたパッチワイド画像エンコーダと, それらの表現の複数インスタンスアライメントから構成される。 我々は,MApLeが画像領域の調整に成功し,複数の診断所見を自由テキストで報告できることを実証した。 本モデルでは,複数の下流タスクで評価した場合に,最先端のベースラインモデルと比較してアライメント性能が向上することを示す。 コードはhttps://github.com/cirmuw/MApLeで公開されている。

関連論文リスト

• Structure Observation Driven Image-Text Contrastive Learning for Computed Tomography Report Generation [51.509572354327986]
  本稿では,CTRG(Computed Tomography Report Generation)に適した新しい2段階(構造とレポートの学習)フレームワークを提案する。 第1段階では、CT画像中の対応する構造を学習可能な構造特異的な視覚的クエリーの集合を観察し、その結果として得られる観察トークンと、それに伴う放射線学レポートから抽出された構造特異的なテキスト特徴とを、構造的に画像テキストのコントラストロスとで対比する。 第2段階では、視覚構造クエリを凍結し、各解剖学的構造を描写したクリティカルイメージパッチ埋め込みを選択するために使用し、メモリ消費を低減しつつ、無関係領域からの注意を最小化する。
  論文  参考訳（メタデータ） (2026-03-05T07:07:07Z)
• Segment as You Wish -- Free-Form Language-Based Segmentation for Medical Images [30.673958586581904]
  フリーフォームなテキストプロンプトを処理する新しい医用画像セグメンテーションモデルであるFLanSを紹介する。 FLanSは、7つの公開データセットから100万以上の医療画像の大規模なデータセットでトレーニングされている。
  論文  参考訳（メタデータ） (2024-10-02T16:34:32Z)
• Uncertainty-aware Medical Diagnostic Phrase Identification and Grounding [72.18719355481052]
  MRG(Messical Report Grounding)と呼ばれる新しい課題について紹介する。 MRGは医療報告から診断フレーズとその対応する接地箱を直接エンドツーエンドで識別することを目的としている。 マルチモーダルな大規模言語モデルを用いて診断フレーズを予測する,堅牢で信頼性の高いフレームワークである uMedGround を提案する。
  論文  参考訳（メタデータ） (2024-04-10T07:41:35Z)
• Hierarchical Text-to-Vision Self Supervised Alignment for Improved Histopathology Representation Learning [64.1316997189396]
  病理組織像のための新しい言語型自己教師学習フレームワーク,階層型言語型自己監督(HLSS)を提案する。 その結果,OpenSRH と TCGA の2つの医用画像ベンチマークにおいて,最先端の性能が得られた。
  論文  参考訳（メタデータ） (2024-03-21T17:58:56Z)
• Anatomical Structure-Guided Medical Vision-Language Pre-training [21.68719061251635]
  医用視覚表現を学習するための解剖学的構造ガイド(ASG)フレームワークを提案する。 解剖学的領域に対しては,放射線技師と協調して自動解剖学的領域文アライメントパラダイムを設計する。 画像の特徴を各サンプル内の各タグに関連付けるために,画像タグ認識デコーダを適用して画像タグとみなす。
  論文  参考訳（メタデータ） (2024-03-14T11:29:47Z)
• Decomposing Disease Descriptions for Enhanced Pathology Detection: A Multi-Aspect Vision-Language Pre-training Framework [43.453943987647015]
  医学的な視覚言語事前訓練は研究の最前線として現れ、ゼロショットの病理診断を可能にしている。 バイオメディカルテキストの複雑なセマンティクスのため、現在の方法では、医学的画像と、非構造化レポートの重要な病理学的所見の整合に苦慮している。 これは、大きな言語モデルと医療専門家に相談することで達成される。 我々の研究は、近年の手法の精度を最大8.56%まで改善し、17.26%を目に見えるカテゴリーで改善した。
  論文  参考訳（メタデータ） (2024-03-12T13:18:22Z)
• Weakly supervised multiple instance learning histopathological tumor segmentation [51.085268272912415]
  スライド画像全体のセグメント化のための弱教師付きフレームワークを提案する。 トレーニングモデルに複数のインスタンス学習スキームを利用する。 提案するフレームワークは,The Cancer Genome AtlasとPatchCamelyonデータセットのマルチロケーションとマルチ中心公開データに基づいて評価されている。
  論文  参考訳（メタデータ） (2020-04-10T13:12:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。