論文の概要: Multimodal Hybrid Retrieval-Augmented Generation for Scientific Document Understanding using Open-Source SLMs

• arxiv url: http://arxiv.org/abs/2607.24799v1
• Date: Mon, 06 Jul 2026 08:32:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:39.072982
• Title: Multimodal Hybrid Retrieval-Augmented Generation for Scientific Document Understanding using Open-Source SLMs
• Title（参考訳）: オープンソースSLMを用いた科学文書理解のためのマルチモーダルハイブリッド検索生成
• Authors: Alexandru-Andrei Saucă, Ana-Luiza Rusnac,
• Abstract要約: 大規模言語モデルは、前もって微調整を行わずに、科学的文書からドメイン固有のキーオンに答えるときに幻覚を起こす傾向がある。 本稿では,これらの課題を解決するための高度なマルチモーダル検索型生成システムを提案する。 Qwen2-VL-2B-InstructはBERTScoreのクラウドベースモデルに匹敵する結果を得た。
• 参考スコア（独自算出の注目度）: 45.88028371034407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models tend to hallucinate when answering domain-specific ques tions from scientific documents without prior fine-tuning. Currently, methods such as Retrieval-Augmented Generation partially solve this problem but face different challenges: limited context knowledge, difference between sparse and dense retrieval, and retrieval noise. This paper presents an Advanced Multimodal Retrieval-Augmented Generation system that aims to solve those challenges and im prove the accuracy of information extraction. The proposed architecture introduces a multimodal ingestion pipeline that leverages an open-source Vision-Language Model (Qwen2-VL-2B-Instruct) to generate textual summaries of tables and fig ures. The retrieval phase integrates HNSW-based semantic search with GIN-based lexical search, unified through Reciprocal Rank Fusion and refined using Cross Encoder reranking to minimize retrieval noise. To ensure conversational coherence across multi-turn interactions, a Query Condenser module is employed. Evaluation is conducted by independently assessing the ingestion, retrieval and generation stages using the MMLongBench benchmark, a BeIR-format synthetic dataset and the DeepEval framework. Moreover, results demonstrate a 157% improvement in retrieval quality over a Naive-RAG baseline, with only 50 ms additional la tency, while Qwen2-VL-2B-Instruct achieved results comparable to cloud-based models in BERTScore. These findings validate that open-source optimized SLMs, paired with advanced retrieval strategies, can provide competitive performance for document understanding without relying on cloud-based models.
• Abstract（参考訳）: 大規模言語モデルは、前もって微調整を行わずに、科学文書からドメイン固有のキーオンに答えるときに幻覚を起こす傾向がある。 現在,Retrieval-Augmented Generationのような手法はこの問題を部分的に解決しているが,コンテキスト知識の制限,スパースと高密度検索の違い,検索ノイズなど,さまざまな課題に直面している。 本稿では,これらの課題を解決し,情報抽出の精度を実証することを目的とした,高度なマルチモーダル検索・拡張生成システムを提案する。 提案アーキテクチャでは、オープンソースのVision-Language Model(Qwen2-VL-2B-Instruct)を利用して、テーブルとフィグ尿のテキスト要約を生成するマルチモーダル取り込みパイプラインを導入している。 検索フェーズは、HNSWベースのセマンティックサーチとGINベースの語彙探索を統合し、Reciprocal Rank Fusionを通じて統合され、検索ノイズを最小限に抑えるためにクロスエンコーダを用いて洗練される。 マルチターンインタラクション間の会話コヒーレンスを確保するために、Query Condenserモジュールが使用される。 MMLongBenchベンチマーク、BeIRフォーマット合成データセット、DeepEvalフレームワークを用いて、摂取、検索、生成ステージを独立に評価することにより、評価を行う。 さらに,Qwen2-VL-2B-InstructはBERTScoreのクラウドベースモデルに匹敵する結果を得た。 これらの結果は、高度な検索戦略と組み合わせたオープンソースの最適化SLMが、クラウドベースのモデルに頼ることなく、文書理解のための競合性能を提供できることを実証した。

関連論文リスト

• Towards Mixed-Modal Retrieval for Universal Retrieval-Augmented Generation [72.34977512403643]
  Retrieval-Augmented Generation (RAG) は、外部コーパスから関連文書を取得することで、大規模言語モデル(LLM)を強化するための強力なパラダイムとして登場した。 既存のRAGシステムは、主に平凡なテキスト文書に焦点を当てており、クエリとドキュメントの両方が(テキストや画像のような)混合モダリティを含む実世界のシナリオでは、しばしば不足している。 我々は,Universal Retrieval-Augmented Generationシナリオに適した混合モーダル-混合モーダルレトリバーであるNyxを提案する。
  論文  参考訳（メタデータ） (2025-10-20T09:56:43Z)
• RAG-IGBench: Innovative Evaluation for RAG-based Interleaved Generation in Open-domain Question Answering [50.42577862494645]
  本稿では,RAG-IG(Retrieval-Augmented Generation)に基づくインターリーブドジェネレーション(Interleaved Generation)の課題を評価するためのベンチマークであるRAG-IGBenchを提案する。 RAG-IGは、MLLM(Multimodal large language model)と検索機構を統合し、モデルがコヒーレントなマルチモーダルコンテンツを生成するための外部画像テキスト情報にアクセスできるようにする。
  論文  参考訳（メタデータ） (2025-10-11T03:06:39Z)
• MSRS: Evaluating Multi-Source Retrieval-Augmented Generation [51.717139132190574]
  多くの現実世界のアプリケーションは、複数のソースにまたがる情報を統合して要約する能力を必要としている。 本稿では、RAGシステムに対して異なるソース間で情報を統合するための評価ベンチマークを構築するためのスケーラブルなフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-28T14:59:55Z)
• MMKB-RAG: A Multi-Modal Knowledge-Based Retrieval-Augmented Generation Framework [15.410873298893817]
  MMKB-RAG(Multi-Modal Knowledge-based Retrieval-Augmented Generation)を提案する。 このフレームワークは、モデル固有の知識境界を利用して、検索プロセスのセマンティックタグを動的に生成する。 知識に基づく視覚的質問応答タスクに関する大規模な実験は、我々のアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2025-04-14T10:19:47Z)
• MultiConIR: Towards multi-condition Information Retrieval [38.864056667809095]
  MultiConIRは、複雑なマルチ条件クエリシナリオ下での検索および再ランクモデルの評価のために設計されたベンチマークである。 ほとんどのレトリバーとリランカは、クエリの複雑さが増大するにつれて、パフォーマンスが大幅に低下する。 この研究は、リランカの性能劣化の原因を解明し、クエリ内の条件位置が類似性評価にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2025-03-11T05:02:03Z)
• RetroLLM: Empowering Large Language Models to Retrieve Fine-grained Evidence within Generation [21.764973680014368]
  RetroLLMは、検索と生成を単一の凝集プロセスに統合する統合フレームワークである。 制約付きエビデンス生成の過程での偽プルーニングを軽減するために,階層的FM-Index制約を導入する。 5つのオープンドメインQAデータセットの実験では、ドメイン内タスクとドメイン外タスクの両方にわたって、RetroLLMの優れたパフォーマンスが示されている。
  論文  参考訳（メタデータ） (2024-12-16T16:03:25Z)
• CART: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  クロスモーダル検索は、異なるモーダルデータの相互作用を通じて、クエリと意味的に関連するインスタンスを検索することを目的としている。 従来のソリューションでは、クエリと候補の間のスコアを明示的に計算するために、シングルトウワーまたはデュアルトウワーのフレームワークを使用している。 粗大なセマンティックモデリングに基づく生成的クロスモーダル検索フレームワーク(CART)を提案する。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)
• Enhancing Multi-modal and Multi-hop Question Answering via Structured Knowledge and Unified Retrieval-Generation [33.56304858796142]
  マルチモーダルなマルチホップ質問応答は、異なるモーダルから複数の入力ソースを推論することで質問に答える。 既存の手法は、しばしば別々に証拠を検索し、その後言語モデルを使用して、得られた証拠に基づいて回答を生成する。 本稿では,これらの問題に対処するため,構造化知識と統一検索生成(RG)アプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:12:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。