論文の概要: RE-SciVQA: Improving Scientific VQA With Context-Relevant Retrieval and Lightweight MLLM Adaptation
- arxiv url: http://arxiv.org/abs/2611.00242v1
- Date: Fri, 30 Oct 2026 18:24:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 02:30:57.143958
- Title: RE-SciVQA: Improving Scientific VQA With Context-Relevant Retrieval and Lightweight MLLM Adaptation
- Title(参考訳): re-SciVQA: 文脈関連検索と軽量MLLM適応による科学VQAの改善
- Abstract要約: 本稿では,検索した文脈の品質向上に焦点を当てたRE-SciVQAを提案する。
SciVQAベンチマークでは、RE-SciVQAはROUGE-1 F1スコア73.9%を達成し、チャートに焦点を当てたモデルを上回った。
また、チャート下モデルがしばしば苦労するカテゴリである、閉じた無限の視覚的問題についても検討する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A deep understanding of scientific literature often relies on interpreting figures that contain key information beyond the main text. Leveraging Large Language Models (LLMs) to extract insights from these figures can significantly accelerate knowledge discovery. Existing works on Scientific Visual Question Answering rely on resource-intensive training pipelines that are often inaccessible and require large computational resources. Instead of designing complex architectures, we propose RE- SciVQA, which focuses on improving the quality of retrieved context and fine-tuning small LLMs with parameter-efficient LoRA training. Using a simple query expansion step, relevant section headers are appended to the original question to improve the retrieval coverage. In addition, a simple adjustment of similarity scores is applied using figure references and caption alignment. On the SciVQA benchmark, RE-SciVQA achieves a ROUGE-1 F1 score of 73.9%, outperforming chart-focused models such as UniChart (14.7%), ChartGemma (6.9%), and Matcha-ChartQA (6.3%). Our relevance-enhanced RAG setup also improves the exact match by 11.9% and the fuzzy match by 29.5% compared with a standard RAG baseline, resulting in an overall gain of 14.3%. We also examine closed-ended infinite visual questions, a category in which chart-understanding models often struggle. Our experiments show that using plot digitization instead of synthetic captions leads to an 18.5% improvement for this question type.
- Abstract(参考訳): 科学文献の深い理解は、しばしば本文以外の重要な情報を含む図形を解釈することに依存する。
これらの図から洞察を抽出するためにLLM(Large Language Models)を活用することで、知識発見を著しく加速することができる。
既存のScientific Visual Question Answeringの研究は、しばしばアクセス不能で大量の計算リソースを必要とするリソース集約的なトレーニングパイプラインに依存している。
複雑なアーキテクチャを設計する代わりに、検索したコンテキストの品質向上とパラメータ効率のよいLoRAトレーニングによる小型LCMの微調整に焦点を当てたRE-SciVQAを提案する。
単純なクエリ拡張ステップを使用して、関連するセクションヘッダを元の質問に追加し、検索カバレッジを改善する。
また、図形参照とキャプションアライメントを用いて、類似度スコアの簡単な調整を行う。
SciVQAベンチマークでは、RE-SciVQAはROUGE-1 F1スコア73.9%を達成し、UniChart(14.7%)、ChartGemma(6.9%)、Matcha-ChartQA(6.3%)などのチャート中心モデルを上回った。
我々の関連強化されたRAGセットアップは、標準的なRAGベースラインと比較して、正確なマッチを11.9%改善し、ファジィマッチを29.5%改善した。
また、チャート下モデルがしばしば苦労するカテゴリである、閉じた無限の視覚的問題についても検討する。
本実験により, 合成キャプションの代わりにプロットデジタイゼーションを用いることで, この問題に対して18.5%の改善が得られた。
関連論文リスト
- Test-Time Strategies for More Efficient and Accurate Agentic RAG [58.44913384057518]
Retrieval-Augmented Generation (RAG) システムは複雑なマルチホップ問題に直面している。
このような手法は、以前に処理された情報の反復的な検索を含む非効率性を導入することができる。
本稿では,これらの問題を軽減するために,サーチ-R1パイプラインに対するテスト時間修正について検討する。
論文 参考訳(メタデータ) (2026-03-12T19:18:59Z) - ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。
ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
論文 参考訳(メタデータ) (2025-11-27T19:01:02Z) - VeriSciQA: An Auto-Verified Dataset for Scientific Visual Question Answering [53.662676566188175]
重要なボトルネックは、パブリックで大規模で高品質なビジュアル質問回答(SVQA)データセットの欠如にある。
本稿では、まず、図形関連テクストコンテキストとQAペアを生成する検証中心のGenerate-then-Verifyフレームワークを提案する。
このフレームワークをインスタンス化し、20の科学的ドメインと12のフィギュアタイプからなる20,351のQAペアのデータセットであるVeriSciQAをキュレートします。
論文 参考訳(メタデータ) (2025-11-25T04:14:52Z) - PROPEX-RAG: Enhanced GraphRAG using Prompt-Driven Prompt Execution [4.1390735746263685]
本稿では, 実体抽出, 事実選択, 通過再開を促進する上で, 素早い定式化の意義を浮き彫りにした, プロンプト駆動型グラフRAGフレームワークを提案する。
我々のシステムはHotpotQAと2WikiMultiHopQAで最先端のパフォーマンスを獲得し、F1スコアは80.7%、78.9%、Recall@5スコアは97.1%、98.1%である。
論文 参考訳(メタデータ) (2025-11-03T18:00:56Z) - Clue-RAG: Towards Accurate and Cost-Efficient Graph-based RAG via Multi-Partite Graph and Query-Driven Iterative Retrieval [15.599544326509436]
Retrieval-Augmented Generation (RAG) は、しばしばグラフ構造化データから外部情報を統合することで制限に対処する。
本稿では,マルチパーティグラフインデックスとクエリ駆動反復検索戦略を導入した新しいアプローチであるClue-RAGを提案する。
3つのQAベンチマークの実験により、Clue-RAGは最先端のベースラインを著しく上回っている。
論文 参考訳(メタデータ) (2025-07-11T09:36:45Z) - A Query-Aware Multi-Path Knowledge Graph Fusion Approach for Enhancing Retrieval-Augmented Generation in Large Language Models [3.0748861313823]
QMKGFはクエリ対応マルチパス知識グラフフュージョンアプローチであり、検索拡張生成を促進する。
我々はプロンプトテンプレートを設計し、汎用LLMを用いてエンティティや関係を抽出する。
本稿では, ワンホップ関係, マルチホップ関係, 重要度に基づく関係を組み込んだマルチパスサブグラフ構築戦略を提案する。
論文 参考訳(メタデータ) (2025-07-07T02:22:54Z) - SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。
SFR-RAG(SFR-RAG)について述べる。
また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
論文 参考訳(メタデータ) (2024-09-16T01:08:18Z) - Empowering Large Language Models to Set up a Knowledge Retrieval Indexer via Self-Learning [17.83428132220955]
Pseudo-Graph Retrieval-Augmented Generation (PG-RAG) という事前検索フレームワークを提案する。
PG-RAGは、LLMを学生として、豊富な原材料を提供することで概念化している。
PG-RAGは、検索フェーズの間、ノートをめくると人間の行動を模倣する。
論文 参考訳(メタデータ) (2024-05-27T08:26:45Z) - Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。
その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
論文 参考訳(メタデータ) (2023-10-09T16:57:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。