論文の概要: Distribution-Based Masked Medical Vision-Language Model Using Structured Reports

• arxiv url: http://arxiv.org/abs/2507.21794v1
• Date: Tue, 29 Jul 2025 13:31:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 17:08:56.357539
• Title: Distribution-Based Masked Medical Vision-Language Model Using Structured Reports
• Title（参考訳）: 構造化レポートを用いた分布型マスケ型医用ビジョンランゲージモデル
• Authors: Shreyank N Gowda, Ruichi Zhang, Xiao Gu, Ying Weng, Lu Yang,
• Abstract要約: 医用画像テキスト事前訓練は,医療用画像と臨床関連テキストの整合を図り,様々な下流作業におけるモデル性能を向上させることを目的としている。 本研究は,医用画像解析における一般化能力を高める不確実性を考慮した医用画像テキスト事前学習モデルを提案する。
• 参考スコア（独自算出の注目度）: 9.306835492101413
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Medical image-language pre-training aims to align medical images with clinically relevant text to improve model performance on various downstream tasks. However, existing models often struggle with the variability and ambiguity inherent in medical data, limiting their ability to capture nuanced clinical information and uncertainty. This work introduces an uncertainty-aware medical image-text pre-training model that enhances generalization capabilities in medical image analysis. Building on previous methods and focusing on Chest X-Rays, our approach utilizes structured text reports generated by a large language model (LLM) to augment image data with clinically relevant context. These reports begin with a definition of the disease, followed by the `appearance' section to highlight critical regions of interest, and finally `observations' and `verdicts' that ground model predictions in clinical semantics. By modeling both inter- and intra-modal uncertainty, our framework captures the inherent ambiguity in medical images and text, yielding improved representations and performance on downstream tasks. Our model demonstrates significant advances in medical image-text pre-training, obtaining state-of-the-art performance on multiple downstream tasks.
• Abstract（参考訳）: 医用画像言語プレトレーニングは、医療用画像と臨床関連テキストの整合化を目標とし、様々な下流タスクにおけるモデル性能の向上を目的とする。 しかし、既存のモデルは、医療データに固有の多様性と曖昧さに苦しむことが多く、不確実な臨床情報や不確実性を捉える能力を制限する。 本研究は,医用画像解析における一般化能力を高める不確実性を考慮した医用画像テキスト事前学習モデルを提案する。 従来の手法と胸部X線に焦点を当てたアプローチでは,大言語モデル(LLM)によって生成された構造化されたテキストレポートを用いて臨床関連文脈で画像データを拡張する。 これらの報告は、疾患の定義から始まり、次に、重要な関心領域を強調する「外観」セクション、そして最後に臨床意味論の基盤モデル予測である「観察」と「予測」が続く。 モーダル内不確実性の両方をモデル化することにより、医用画像とテキストのあいまいさを把握し、下流タスクにおける表現性やパフォーマンスを向上させる。 本モデルでは, 医療用画像テキストの事前学習において, 複数の下流タスクにおける最先端の処理性能が向上することを示す。

関連論文リスト

• Causal Disentanglement for Robust Long-tail Medical Image Generation [80.15257897500578]
  そこで本研究では,病的特徴と構造的特徴を独立に生成する新しい医用画像生成フレームワークを提案する。 本稿では,病理所見から導かれる拡散モデルを用いて病理像をモデル化し,種々の対物画像の生成を可能にする。
  論文  参考訳（メタデータ） (2025-04-20T01:54:18Z)
• GCS-M3VLT: Guided Context Self-Attention based Multi-modal Medical Vision Language Transformer for Retinal Image Captioning [3.5948668755510136]
  本稿では,視覚的特徴とテキスト的特徴を組み合わせた視覚的イメージキャプションのための新しい視覚言語モデルを提案する。 DeepEyeNetデータセットの実験では、0.023 BLEU@4の改善と重要な定性的な進歩が示されている。
  論文  参考訳（メタデータ） (2024-12-23T03:49:29Z)
• Self-supervised vision-langage alignment of deep learning representations for bone X-rays analysis [53.809054774037214]
  本稿では, 骨X線とフレンチレポートを組み合わせることで, 視覚言語による事前訓練を活用することを提案する。 骨X線表現にまつわる埋め込み空間を形成するために、フランスの報告を統合する最初の研究である。
  論文  参考訳（メタデータ） (2024-05-14T19:53:20Z)
• Medical Vision-Language Pre-Training for Brain Abnormalities [96.1408455065347]
  本稿では,PubMedなどの公共リソースから,医用画像・テキスト・アライメントデータを自動的に収集する方法を示す。 特に,まず大きな脳画像テキストデータセットを収集することにより,事前学習プロセスの合理化を図るパイプラインを提案する。 また,医療領域におけるサブフィギュアをサブキャプションにマッピングするというユニークな課題についても検討した。
  論文  参考訳（メタデータ） (2024-04-27T05:03:42Z)
• Exploring Transfer Learning in Medical Image Segmentation using Vision-Language Models [0.8878802873945023]
  本研究では,視覚言語モデルから2次元医用画像への移行に関する最初の体系的研究を紹介する。 VLSMは画像のみのセグメンテーションモデルと比較して競合性能を示すが、全てのVLSMは言語プロンプトから追加情報を利用するわけではない。
  論文  参考訳（メタデータ） (2023-08-15T11:28:21Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)
• Adapting Pretrained Vision-Language Foundational Models to Medical Imaging Domains [3.8137985834223502]
  臨床の文脈を忠実に描写する医療画像の生成モデルを構築することは、医療データセットの不明瞭さを軽減するのに役立つ。 安定拡散パイプラインのサブコンポーネントを探索し、モデルを微調整して医用画像を生成する。 我々の最良の性能モデルは、安定な拡散ベースラインを改善し、合成ラジオグラフィ画像に現実的な異常を挿入するように条件付けすることができる。
  論文  参考訳（メタデータ） (2022-10-09T01:43:08Z)
• Variational Topic Inference for Chest X-Ray Report Generation [102.04931207504173]
  医療画像のレポート生成は、作業負荷を減らし、臨床実習における診断を支援することを約束する。 近年の研究では、ディープラーニングモデルが自然画像のキャプションに成功していることが示された。 本稿では,自動レポート生成のための変分トピック推論を提案する。
  論文  参考訳（メタデータ） (2021-07-15T13:34:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。