論文の概要: Iterative Multimodal Retrieval-Augmented Generation for Medical Question Answering
- arxiv url: http://arxiv.org/abs/2604.27724v1
- Date: Thu, 30 Apr 2026 11:16:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-01 16:31:54.060723
- Title: Iterative Multimodal Retrieval-Augmented Generation for Medical Question Answering
- Title（参考訳）: 医療質問応答のための反復的マルチモーダル検索型生成法
- Authors: Xupeng Chen, Binbin Shi, Chenqian Le, Jiaqi Zhang, Kewen Wang, Ran Gong, Jinhan Zhang, Chihang Wang,
- Abstract要約: 我々は,OCR テキストの代わりに PMC 文書ページイメージを検索し,原因を判断する反復型マルチモーダル RAG フレームワーク MED-VRAG を提案する。
視覚言語モデル(VLM)はそのクエリを反復的に洗練し、メモリバンクにエビデンスを蓄積する。
4つのQAベンチマークで、MEDVRAGの平均精度は78.6%に達した。
- 参考スコア（独自算出の注目度）: 11.253079427884229
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Medical retrieval-augmented generation (RAG) systems typically operate on text chunks extracted from biomedical literature, discarding the rich visual content (tables, figures, structured layouts) of original document pages. We propose MED-VRAG, an iterative multimodal RAG framework that retrieves and reasons over PMC document page images instead of OCR'd text. The system pairs ColQwen2.5 patch-level page embeddings with a sharded MapReduce LLM filter, scaling to ~350K pages while keeping Stage-1 retrieval under 30 ms via an offline coarse-to-fine index (C=8 centroids per page, ANN over centroids, exact two-way scoring on the top-R shortlist). A vision-language model (VLM) then iteratively refines its query and accumulates evidence in a memory bank across up to 3 reasoning rounds, with a single iteration costing ~15.9 s and the full three-round pipeline ~47.8 s on 4xA100. Across four medical QA benchmarks (MedQA, MedMCQA, PubMedQA, MMLU-Med), MEDVRAG reaches 78.6% average accuracy. Under controlled comparison with the same Qwen2.5-VL-32B backbone, retrieval contributes a +5.8 point gain over the no-retrieval baseline; we also note a +1.8 point edge over MedRAG + GPT-4 (76.8%), with the caveat that this is a cross-paper rather than head-to-head comparison. Ablations isolate +1.0 from page-image vs text-chunk retrieval, +1.5 from iteration, and +1.0 from the memory bank.
- Abstract（参考訳）: 医学検索強化生成システム(RAG)は通常、生医学文献から抽出されたテキストチャンクで動作し、オリジナルの文書ページのリッチなビジュアルコンテンツ(テーブル、図形、構造化レイアウト)を破棄する。
我々は,OCR テキストの代わりに PMC 文書ページイメージを検索し,原因を判断する反復型マルチモーダル RAG フレームワーク MED-VRAG を提案する。
システムは、ColQwen2.5のパッチレベルのページ埋め込みと、シャードなMapReduce LLMフィルタを組み合わせ、ステージ1検索を30ms以下でオフラインの粗いインデックス(ページ毎のC=8セントロイド、セントロイド上のANN、トップRショートリスト上の正確な2方向スコア)で維持しながら、350Kページまでスケールする。
視覚言語モデル(VLM)はそのクエリを反復的に洗練し、最大3回の推論ラウンドにわたるメモリバンクにエビデンスを蓄積する。
4つのQAベンチマーク(MedQA、MedMCQA、PubMedQA、MMLU-Med)のうち、MEDVRAGの平均精度は78.6%に達した。
同じQwen2.5-VL-32Bバックボーンとの制御された比較では、検索は非検索ベースラインに対して+5.8ポイントのゲインをもたらし、MedRAG + GPT-4 (76.8%) よりも +1.8ポイントのエッジに注意する。
アブレーションはページイメージとテキストチャンク検索から+1.0、イテレーションから+1.5、メモリバンクから+1.0を分離する。
関連論文リスト
- ZenBrain: A Neuroscience-Inspired 7-Layer Memory Architecture for Autonomous AI Systems [51.56484100374058]
我々は神経科学モデルを統合した多層メモリアーキテクチャであるZenBrainを紹介する。
9つのアルゴリズムで編成された7つのメモリ層(作業層、短期層、エピソード層、意味層、手続き層、コア層、基礎層)を実装している。
LongMemEvalでは、ZenBrainはシステム審査員12人の中で最高位である。
論文 参考訳（メタデータ） (2026-04-26T20:39:19Z) - Graph-Aware Late Chunking for Retrieval-Augmented Generation in Biomedical Literature [0.0]
GraLC-RAGは、グラフ認識構造インテリジェンスと遅延チャンキングを統合するフレームワークである。
2,359 IMRaD-filtered Centralの項目に対して,2,033の横断質問を用いた6つの戦略を評価する。
論文 参考訳（メタデータ） (2026-03-23T23:22:58Z) - IRPAPERS: A Visual Document Benchmark for Scientific Retrieval and Question Answering [1.4427879901952518]
我々は166の科学論文から3,230ページのベンチマークであるIRPAPERSを紹介し、各ページに画像とOCRの書き起こしがある。
画像とテキストによる検索と質問応答システムの比較を行った。
我々は、一助文と画像表現の限界を分析し、一方のモダリティを必要とする質問タイプを他方で識別する。
論文 参考訳（メタデータ） (2026-02-05T21:57:43Z) - Exploration of Augmentation Strategies in Multi-modal Retrieval-Augmented Generation for the Biomedical Domain: A Case Study Evaluating Question Answering in Glycobiology [0.0]
マルチモーダル検索強化世代 (MM-RAG) は、接地型バイオメディカルQAを約束する。
i)図形/表をテキストに変換するのに、(ii)光学文字認識(OCR)を使わない視覚的検索を使うのに対して、いつテキストに変換するかは不明確である。
我々はこのトレードオフを、視覚的に高密度な領域であるグリコビオロジーで研究する。
論文 参考訳（メタデータ） (2025-12-18T17:35:04Z) - Beyond Patch Aggregation: 3-Pass Pyramid Indexing for Vision-Enhanced Document Retrieval [0.0]
ドキュメント中心のRAGパイプラインは通常、OCRから始まり、次にチャンキング、テーブル解析、レイアウト再構築のための脆さが続く。
我々は,OCRフリーかつモデル非依存なマルチモーダル検索システムであるVisionRAGを紹介する。
VisionRAGは、ドキュメントを直接イメージとしてインデックスし、レイアウト、テーブル、空間的なキューを保存し、特定の抽出にコミットすることなくセマンティックベクターを構築する。
論文 参考訳（メタデータ） (2025-11-26T07:18:06Z) - Cross-Document Topic-Aligned Chunking for Retrieval-Augmented Generation [0.0]
Cross-Document Topic-Alignedチャンキングは、コーパスレベルで知識を再構築する。
まず、文書間でトピックを特定し、各トピックにセグメントをマップし、それらを統一されたチャンクに合成する。
論文 参考訳（メタデータ） (2025-11-08T11:45:45Z) - UNIDOC-BENCH: A Unified Benchmark for Document-Centric Multimodal RAG [82.84014669683863]
マルチモーダル検索拡張生成(MM-RAG)は,大規模言語モデルを現実世界の知識ベースに適用するための重要なアプローチである。
UniDoc-Benchは、70万の現実世界のPDFページから構築されたMM-RAGのための最初の大規模で現実的なベンチマークである。
実験により,マルチモーダルテキスト画像融合RAGシステムは,非モーダルおよび共同マルチモーダル埋め込みに基づく検索において一貫して優れていた。
論文 参考訳（メタデータ） (2025-10-04T04:30:13Z) - Infini-gram mini: Exact n-gram Search at the Internet Scale with FM-Index [110.90283601829724]
ペタバイトレベルのテキストコーパスを検索可能にするシステムであるinfini-gram miniを提案する。
FMインデックスデータ構造に基づいて,本システムはコーパスの44%の大きさのインデックスを生成する。
ベンチマーク汚染の大規模解析において重要なユースケースが1つある。
論文 参考訳（メタデータ） (2025-06-13T21:13:57Z) - MonkeyOCR: Document Parsing with a Structure-Recognition-Relation Triplet Paradigm [60.14048367611333]
MonkeyOCRはドキュメント解析のためのビジョン言語モデルである。
SRR(Structure-Recognition-Relation)三重項パラダイムを活用することで、最先端の技術の進歩を図っている。
論文 参考訳（メタデータ） (2025-06-05T16:34:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。