論文の概要: Comparing RAG and GraphRAG for Page-Level Retrieval Question Answering on Math Textbook

• arxiv url: http://arxiv.org/abs/2509.16780v2
• Date: Fri, 26 Sep 2025 05:24:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 12:12:20.299864
• Title: Comparing RAG and GraphRAG for Page-Level Retrieval Question Answering on Math Textbook
• Title（参考訳）: テキストによるページレベル検索質問に対するRAGとGraphRAGの比較
• Authors: Eason Chen, Chuangji Li, Shizhuo Li, Zimo Xiao, Jionghao Lin, Kenneth R. Koedinger,
• Abstract要約: ラージ言語モデル(LLM)は、学習中の情報検索のための新しい補助具として登場した。 本稿では,知識グラフ強化型RAG手法であるRetrieval-Augmented Generation(RAG)とGraphRAGについて,ページレベルの質問応答について検討する。
• 参考スコア（独自算出の注目度）: 6.356031718676495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Technology-enhanced learning environments often help students retrieve relevant learning content for questions arising during self-paced study. Large language models (LLMs) have emerged as novel aids for information retrieval during learning. While LLMs are effective for general-purpose question-answering, they typically lack alignment with the domain knowledge of specific course materials such as textbooks and slides. We investigate Retrieval-Augmented Generation (RAG) and GraphRAG, a knowledge graph-enhanced RAG approach, for page-level question answering in an undergraduate mathematics textbook. While RAG has been effective for retrieving discrete, contextually relevant passages, GraphRAG may excel in modeling interconnected concepts and hierarchical knowledge structures. We curate a dataset of 477 question-answer pairs, each tied to a distinct textbook page. We then compare the standard embedding-based RAG methods to GraphRAG for evaluating both retrieval accuracy-whether the correct page is retrieved-and generated answer quality via F1 scores. Our findings show that embedding-based RAG achieves higher retrieval accuracy and better F1 scores compared to GraphRAG, which tends to retrieve excessive and sometimes irrelevant content due to its entity-based structure. We also explored re-ranking the retrieved pages with LLM and observed mixed results, including performance drop and hallucinations when dealing with larger context windows. Overall, this study highlights both the promises and challenges of page-level retrieval systems in educational contexts, emphasizing the need for more refined retrieval methods to build reliable AI tutoring solutions in providing reference page numbers.
• Abstract（参考訳）: 技術によって強化された学習環境は、学生が自己評価学習中に生じる質問に対して関連する学習内容を取得するのに役立つことが多い。 ラージ言語モデル(LLM)は、学習中の情報検索のための新しい補助具として登場した。 LLMは汎用的な質問応答に有効であるが、教科書やスライドのような特定の教材のドメイン知識は欠如している。 本稿では,知識グラフ強化型RAGアプローチである検索型拡張生成(RAG)とグラフRAGについて,学部数学教科書におけるページレベルの質問応答について検討する。 RAGは離散的かつ文脈的に関係のあるパスを検索するのに有効であるが、GraphRAGは相互接続された概念や階層的な知識構造をモデル化する上で優れている。 我々は、477の質問応答対のデータセットをキュレートし、それぞれ異なる教科書ページに結び付ける。 次に、標準埋め込み型RAG法とGraphRAGを比較し、F1スコアを用いて、正しいページが検索され、生成された回答品質が得られたかどうかの検索精度を評価する。 以上の結果から, 埋め込み型RAGは, エンティティベース構造により, 過剰な, 時には無関係なコンテンツを取り出す傾向にあるGraphRAGと比較して, 高い検索精度とF1スコアを得ることができた。 また、検索したページをLLMで再分類し、より大きなコンテキストウインドウを扱う際の性能低下や幻覚を含む混合結果を観察した。 全体として、本研究では、学習文脈におけるページレベルの検索システムの約束と課題の両方を強調し、参照ページ番号を提供するための信頼性の高いAI学習ソリューションを構築するためのより洗練された検索方法の必要性を強調した。

関連論文リスト

• Aligning LLMs for the Classroom with Knowledge-Based Retrieval -- A Comparative RAG Study [2.4430880203388416]
  ChatGPTのような大規模な言語モデルは、教室での利用が増えているが、学生を誤解させる可能性のある時代遅れまたは製造された情報を提供することが多い。 本稿では,ベクトルベース検索とグラフベース検索の2つのパラダイムについて検討し,教室における質問応答のベストプラクティスを明らかにする。
  論文  参考訳（メタデータ） (2025-09-09T15:22:33Z)
• Pseudo-Knowledge Graph: Meta-Path Guided Retrieval and In-Graph Text for RAG-Equipped LLM [8.941718961724984]
  Pseudo-Knowledge Graph (PKG)フレームワークはメタパス検索、イングラフテキスト、ベクトル検索を大規模言語モデルに統合する。 PKGはより豊かな知識表現を提供し、情報検索の精度を向上させる。
  論文  参考訳（メタデータ） (2025-03-01T02:39:37Z)
• ArchRAG: Attributed Community-based Hierarchical Retrieval-Augmented Generation [16.204046295248546]
  Retrieval-Augmented Generation (RAG) は、外部知識を大規模言語モデルに統合するのに有効であることが証明されている。 我々は、Attributed Community-based Hierarchical RAG (ArchRAG)と呼ばれる新しいグラフベースのRAGアプローチを導入する。 属性付きコミュニティのための新しい階層型インデックス構造を構築し,効果的なオンライン検索手法を開発した。
  論文  参考訳（メタデータ） (2025-02-14T03:28:36Z)
• CG-RAG: Research Question Answering by Citation Graph Retrieval-Augmented LLMs [9.718354494802002]
  CG-RAG(Contextualized Graph Retrieval-Augmented Generation)は、グラフ構造に疎密な検索信号を統合する新しいフレームワークである。 まず、引用グラフの文脈グラフ表現を提案し、文書内および文書間の明示的および暗黙的な接続を効果的にキャプチャする。 次にLexical-Semantic Graph Retrieval(LeSeGR)を提案する。 第3に,検索したグラフ構造化情報を利用した文脈認識生成手法を提案する。
  論文  参考訳（メタデータ） (2025-01-25T04:18:08Z)
• Generative Retrieval for Book search [106.67655212825025]
  書籍検索のための効率的な生成検索フレームワークを提案する。 データ拡張とアウトライン指向の書籍エンコーディングの2つの主要コンポーネントがある。 プロプライエタリなBaiduデータセットの実験では、GBSが強力なベースラインを上回ることが示されている。
  論文  参考訳（メタデータ） (2025-01-19T12:57:13Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• GEM-RAG: Graphical Eigen Memories For Retrieval Augmented Generation [3.2027710059627545]
  検索拡張生成のためのグラフィカル固有メモリ(GEM-RAG)について紹介する。 GEM-RAG は LLM が生成したユーティリティの質問を与えられたテキストコーパスにタグ付けすることで機能する。 我々は,UnifiedQA と GPT-3.5 Turbo を LLM として,SBERT を用いた GEM-RAG と OpenAI のテキストエンコーダを2つの標準QA タスクで評価した。
  論文  参考訳（メタデータ） (2024-09-23T21:42:47Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。