論文の概要: Enhancing RAG-based Medical VQA with Gated Multimodal Representations

• arxiv url: http://arxiv.org/abs/2610.23588v1
• Date: Fri, 16 Oct 2026 15:07:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.982433
• Title: Enhancing RAG-based Medical VQA with Gated Multimodal Representations
• Title（参考訳）: Gated Multimodal Representation を用いたRAGベースの医療用VQAの強化
• Abstract要約: 本稿では,Gated Multimodal Unitを通じて共同クエリ表現を学習するマルチモーダルRAGフレームワークを提案する。 その結果,マルチモーダルクエリ表現は参照Med-LVLMより一貫して優れていた。
• 参考スコア（独自算出の注目度）: 2.682297327288078
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Medical Vision-Language Models (Med-LVLMs) have shown strong performance in Medical Visual Question Answering (MVQA), yet they may still produce factually inconsistent responses. Retrieval-Augmented Generation (RAG) can mitigate this issue by incorporating external clinical evidence; however, retrieval is often guided by a single modality, potentially overlooking the joint semantics of medical images and clinical questions. We introduce a multimodal RAG framework that learns a joint query representation through a Gated Multimodal Unit, enabling evidence retrieval to leverage information from both modalities while keeping the underlying Med-LVLM frozen. We evaluate the proposed approach on benchmark datasets. Results show that the multimodal query representation consistently outperforms a reference Med-LVLM and remains competitive with state-of-the-art methods. Our findings demonstrate the potential of multimodal query representations for more effective evidence retrieval in Medical VQA.
• Abstract（参考訳）: 医用視覚ランゲージモデル(Med-LVLMs)は、MVQA(Medicical Visual Question Answering)において高い性能を示したが、実際には矛盾する反応を生じさせる可能性がある。 Retrieval-Augmented Generation (RAG) は、外部の臨床的証拠を取り入れることでこの問題を軽減することができるが、検索は単一のモダリティによって導かれることが多く、医療画像と臨床問題の共同意味論を見越す可能性がある。 我々は,Gated Multimodal Unitを通じて共同クエリ表現を学習するマルチモーダルRAGフレームワークを導入し,基礎となるMed-LVLMを凍結させながら,両方のモーダルからの情報を活用するエビデンス検索を実現する。 提案手法をベンチマークデータセット上で評価する。 その結果、マルチモーダルクエリ表現は参照Med-LVLMよりも一貫して優れており、最先端の手法と競合することを示す。 本研究は,医療用VQAにおいて,より効果的なエビデンス検索のためのマルチモーダルクエリ表現の可能性を示すものである。

関連論文リスト

• MedAlign: A Synergistic Framework of Multimodal Preference Optimization and Federated Meta-Cognitive Reasoning [52.064286116035134]
  我々はMed-VQA(Med-VQA)のための視覚的LVLM応答を保証するフレームワークであるMedAlignを開発した。 まず、優先学習を視覚的コンテキストに合わせるために、マルチモーダルな直接選好最適化(mDPO)の目的を提案する。 次に、画像とテキストの類似性を生かし、クエリを専門的でコンテキスト拡張されたLVLMにルーティングする検索型混合処理(RA-MoE)アーキテクチャを設計する。
  論文  参考訳（メタデータ） (2025-10-24T02:11:05Z)
• Proactive Reasoning-with-Retrieval Framework for Medical Multimodal Large Language Models [15.530083855947987]
  我々は,Med-RwR を用いた最初のマルチモーダル医療推論フレームワークを提案する。 Med-RwRは、推論中に観察された症状やドメイン固有の医療概念を問い合わせることで、外部知識を積極的に回収する。 様々な公開医療ベンチマークの評価は、Med-RwRのベースラインモデルに対する大幅な改善を示している。
  論文  参考訳（メタデータ） (2025-10-21T05:18:18Z)
• HeteroRAG: A Heterogeneous Retrieval-Augmented Generation Framework for Medical Vision Language Tasks [22.597677744620295]
  We present HeteroRAG, a novel framework that enhances Med-LVLMs through heterogeneous knowledge sources。 HeteroRAGは、ほとんどの医療ビジョン言語ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-08-18T09:54:10Z)
• GEMeX-RMCoT: An Enhanced Med-VQA Dataset for Region-Aware Multimodal Chain-of-Thought Reasoning [60.03671205298294]
  医学的視覚的質問応答は、医学的イメージに基づいた自然言語的質問にモデルで答えることによって、臨床的な意思決定を支援することを目的としている。 現在の方法はまだ、答えの信頼性の制限と解釈性の低下に悩まされている。 この研究はまず、回答を生成するプロセスが中間的推論ステップのシーケンスに先行する領域対応マルチモーダル・チェーン・オブ・ソートデータセットを提案する。
  論文  参考訳（メタデータ） (2025-06-22T08:09:58Z)
• Comprehensive and Practical Evaluation of Retrieval-Augmented Generation Systems for Medical Question Answering [70.44269982045415]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル (LLM) の性能向上のための有望なアプローチとして登場した。 医療用QAデータセットに様々な補助的要素を提供するMedRGB(MedRGB)を導入する。 実験結果から,検索した文書のノイズや誤情報の処理能力に限界があることが判明した。
  論文  参考訳（メタデータ） (2024-11-14T06:19:18Z)
• MMed-RAG: Versatile Multimodal RAG System for Medical Vision Language Models [49.765466293296186]
  近年,Med-LVLM (Med-LVLMs) の進歩により,対話型診断ツールの新たな可能性が高まっている。 Med-LVLMは、しばしば事実の幻覚に悩まされ、誤った診断につながることがある。 我々は,Med-LVLMの現実性を高めるために,多目的マルチモーダルRAGシステムMMed-RAGを提案する。
  論文  参考訳（メタデータ） (2024-10-16T23:03:27Z)
• Improving Retrieval-Augmented Generation in Medicine with Iterative Follow-up Questions [42.73799041840482]
  i-MedRAGは、過去の情報検索の試みに基づいてフォローアップクエリを反復的に要求するシステムである。 ゼロショットのi-MedRAGは、GPT-3.5上で既存のプロンプトエンジニアリングと微調整の方法をすべて上回ります。 i-MedRAGは、順応的にフォローアップクエリを問い合わせて推論チェーンを形成し、医学的な質問の詳細な分析を提供する。
  論文  参考訳（メタデータ） (2024-08-01T17:18:17Z)
• RJUA-MedDQA: A Multimodal Benchmark for Medical Document Question Answering and Clinical Reasoning [14.366349078707263]
  RJUA-MedDQAは医学専門分野における総合的なベンチマークである。 本稿では医学専門分野の総合的なベンチマークであるRJUA-MedDQAを紹介する。
  論文  参考訳（メタデータ） (2024-02-19T06:57:02Z)
• OmniMedVQA: A New Large-Scale Comprehensive Evaluation Benchmark for Medical LVLM [48.16696073640864]
  我々は,新しい包括的ビジュアル質問回答(VQA)ベンチマークであるOmniMedVQAを紹介する。 このベンチマークのすべての画像は、本物の医療シナリオから得られたものです。 既存のLVLMはこれらの医療用VQA問題に効果的に取り組むのに苦労していることがわかった。
  論文  参考訳（メタデータ） (2024-02-14T13:51:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。