論文の概要: Representation-guided in-context learning for medical image interpretation with multimodal large language models

• arxiv url: http://arxiv.org/abs/2609.24057v1
• Date: Mon, 21 Sep 2026 03:34:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.048118
• Title: Representation-guided in-context learning for medical image interpretation with multimodal large language models
• Title（参考訳）: マルチモーダル大言語モデルを用いた医用画像解釈のための表現誘導型インコンテキスト学習
• Abstract要約: 表現誘導型インコンテキスト学習(RG-ICL)は、凍結エンコーダを用いてクエリアラインなデモを検索する。 RG-ICLは、非文脈や従来のICLよりも分類(平均20ポイント)と視覚的質問応答(VQA)を改善した。
• 参考スコア（独自算出の注目度）: 51.36834689637422
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Medical image interpretation is central to diagnosis and care, yet adapting general-purpose multimodal large language models (MLLMs) often requires resource-intensive domain-specific fine-tuning. Here we introduce representation-guided in-context learning (RG-ICL), a training-free inference framework that retrieves query-aligned demonstrations using frozen encoders, without task-specific parameter updates. Across eight datasets spanning histopathology, radiology and retinal fundoscopy, RG-ICL improved classification (mean gain 20 percentage points) and visual question answering (VQA) (mean gain 13 percentage points) over no-context and conventional ICL, approaching or exceeding training-based comparators. Which cases were retrieved mattered more than how many: 6 query-aligned cases outperformed up to 32 randomly selected ones, whereas fixed or random cases often reduced accuracy below baseline. For VQA, aligning reference cases with both image content and question intent produced further gains. These findings indicate that for medical image interpretation, curating which reference cases an MLLM sees is a practical alternative to retraining it.
• Abstract（参考訳）: 医用画像の解釈は診断とケアの中心であるが、汎用多目的大言語モデル(MLLM)の適用にはリソース集約型ドメイン固有微調整が必要となることが多い。 In-context Learning (RG-ICL) は,タスク固有のパラメータを更新することなく,凍結エンコーダを用いてクエリアライメントされたデモを検索する,トレーニング不要な推論フレームワークである。 RG-ICLは, 病理組織学, 放射線学, 網膜内視鏡にまたがる8つのデータセットにおいて, トレーニングベースコンパレータに近づいたり、超えたりして, 分類(平均20ポイント, VQA)と視覚質問応答(平均13ポイント, VQA)を改善した。 6つのクエリアライメントされたケースは、32個のランダムに選択されたケースよりも優れているが、固定されたケースやランダムなケースは、ベースラインよりも精度が低い。 VQAでは、参照ケースを画像の内容と質問意図の両方と整合させることにより、さらなる利益が得られた。 これらの結果から,医療画像の解釈において,MLLMが見る参照症例のキュレーションは,その再訓練の代替となる可能性が示唆された。

関連論文リスト

• MMBU: A Massive Multi-modal Biomedical Understanding Benchmark to Probe the Perception Capabilities of Vision-Language Models [83.50100003741628]
  ビジョンと言語モデル(VLM)は、バイオメディカルイメージングを変革する大きな可能性を秘めている。 本稿では,MMBU(Massive Multimodal Biomedical Understanding)ベンチマークを紹介する。 今までで最大のビジョンと言語ベンチマークで、35のサブモダリティと豊富な構造化メタデータをカバーしている。
  論文  参考訳（メタデータ） (2026-06-04T20:24:47Z)
• ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
  ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。 ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
  論文  参考訳（メタデータ） (2025-11-27T19:01:02Z)
• Multimodal Retrieval-Augmented Generation with Large Language Models for Medical VQA [0.6015898117103068]
  MedVQA (Medicical Visual Question Answering) は、医療画像上の自然言語クエリーを、臨床的な意思決定と患者医療を支援する。 本稿では,汎用的な命令調整型大規模言語モデルと検索拡張生成(RAG)フレームワークを用いたMasonNLPシステムを提案する。 19チーム中3位、51チームが平均41.37%の成績を残した。
  論文  参考訳（メタデータ） (2025-10-12T07:03:58Z)
• Lightweight Joint Optimization of General-Purpose Vision-Language Models and Retrievers for RAG-Based Medical Diagnosis [9.248806116103605]
  医用診断用LVLMを併用したマルチモーダル検索モデルを開発した。 異なるトップ検索された画像は、しばしば同じターゲットに対して異なる予測をもたらす。 本モデルは,臨床分類とVQAタスクに関する医学的に事前訓練されたモデルと競合する結果を得る。
  論文  参考訳（メタデータ） (2025-08-24T15:06:20Z)
• Multimodal Causal-Driven Representation Learning for Generalizable Medical Image Segmentation [56.52520416420957]
  医用画像セグメンテーションにおける領域一般化に取り組むために, MCDRL(Multimodal Causal-Driven Representation Learning)を提案する。 MCDRLは競合する手法より一貫して優れ、セグメンテーション精度が優れ、堅牢な一般化性を示す。
  論文  参考訳（メタデータ） (2025-08-07T03:41:41Z)
• Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
  本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。 本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。 テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-03-30T18:20:00Z)
• Few-shot Medical Image Segmentation using a Global Correlation Network with Discriminative Embedding [60.89561661441736]
  医療画像分割のための新しい手法を提案する。 深層畳み込みネットワークを用いた数ショット画像セグメンタを構築します。 深層埋め込みの識別性を高め,同一クラスの特徴領域のクラスタリングを促進する。
  論文  参考訳（メタデータ） (2020-12-10T04:01:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。