論文の概要: KnowShiftQA: How Robust are RAG Systems when Textbook Knowledge Shifts in K-12 Education?

• arxiv url: http://arxiv.org/abs/2412.08985v2
• Date: Mon, 02 Jun 2025 11:22:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 20:53:53.061458
• Title: KnowShiftQA: How Robust are RAG Systems when Textbook Knowledge Shifts in K-12 Education?
• Title（参考訳）: KnowShiftQA: K-12教育における教科書知識のシフトにおけるRAGシステムのロバスト性
• Authors: Tianshi Zheng, Weihan Li, Jiaxin Bai, Weiqi Wang, Yangqiu Song,
• Abstract要約: K-12 教育領域における質問応答ツールとして,RAG (Retrieval-Augmented Generation) システムの可能性が示唆された。 これらの教科書とLLM(Large Language Models)に固有のパラメトリック知識の相違は、RAGシステムの有効性を損なう可能性がある。 KnowShiftQAはこれらの相違をシミュレートし、仮説的知識の更新を意図的に回答とソース文書の両方に適用する。
• 参考スコア（独自算出の注目度）: 41.49674849980441
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) systems show remarkable potential as question answering tools in the K-12 Education domain, where knowledge is typically queried within the restricted scope of authoritative textbooks. However, discrepancies between these textbooks and the parametric knowledge inherent in Large Language Models (LLMs) can undermine the effectiveness of RAG systems. To systematically investigate RAG system robustness against such knowledge discrepancies, we introduce KnowShiftQA. This novel question answering dataset simulates these discrepancies by applying deliberate hypothetical knowledge updates to both answers and source documents, reflecting how textbook knowledge can shift. KnowShiftQA comprises 3,005 questions across five subjects, designed with a comprehensive question typology focusing on context utilization and knowledge integration. Our extensive experiments on retrieval and question answering performance reveal that most RAG systems suffer a substantial performance drop when faced with these knowledge discrepancies. Furthermore, questions requiring the integration of contextual (textbook) knowledge with parametric (LLM) knowledge pose a significant challenge to current LLMs.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) システムは、知識が典型的には権威教科書の範囲内でクエリされるK-12教育領域において、質問応答ツールとして有意な可能性を示している。 しかし、これらの教科書とLarge Language Models(LLMs)に固有のパラメトリック知識の相違は、RAGシステムの有効性を損なう可能性がある。 このような知識不一致に対するRAGシステムの堅牢性を体系的に調査するために,KnowShiftQAを紹介する。 この新しい質問応答データセットは、教科書の知識がいかにシフトするかを反映して、仮説的な知識更新を仮定して、これらの不一致をシミュレートする。 KnowShiftQAは5つの主題にまたがって3,005の質問からなる。 検索および質問応答性能に関する広範な実験により、ほとんどのRAGシステムは、これらの知識の相違に直面すると、かなりの性能低下を被ることが明らかとなった。 さらに、文脈的(テキスト)知識とパラメトリック(LLM)知識の統合を必要とする疑問は、現在のLLMにとって大きな課題となっている。

関連論文リスト

• A Comprehensive Survey of Knowledge-Based Vision Question Answering Systems: The Lifecycle of Knowledge in Visual Reasoning Task [15.932332484902103]
  知識に基づく視覚質問回答(KB-VQA)の拡張型視覚質問回答(VQA) 現在、既存のKB-VQAメソッドを体系的に整理し、レビューする総合的な調査は存在しない。
  論文  参考訳（メタデータ） (2025-04-24T13:37:25Z)
• Do You Know What You Are Talking About? Characterizing Query-Knowledge Relevance For Reliable Retrieval Augmented Generation [19.543102037001134]
  言語モデル(LM)は幻覚や誤報に悩まされていることが知られている。 外部知識コーパスから検証可能な情報を検索する検索拡張生成(RAG)は、これらの問題に対する具体的な解決策を提供する。 RAG生成品質は、ユーザのクエリと検索したドキュメントの関連性に大きく依存する。
  論文  参考訳（メタデータ） (2024-10-10T19:14:55Z)
• Mindful-RAG: A Study of Points of Failure in Retrieval Augmented Generation [11.471919529192048]
  LLM(Large Language Models)は、コヒーレントで文脈的に関係のあるテキストを生成するのに熟練した言語モデルである。 Retrieval-augmented Generation (RAG) システムは、構造化知識グラフ(KG)のような外部知識ソースを組み込むことによってこれを緩和する。 本研究は,既存のKG法に基づくRAG法における誤りパターンの解析と8つの臨界故障点の同定により,このジレンマについて検討した。
  論文  参考訳（メタデータ） (2024-07-16T23:50:07Z)
• Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever [48.5585921817745]
  大きな言語モデル(LLM)は知識タグ付けタスクを自動化するために使われる。 算数問題における知識タグ付けタスクに対するゼロショットと少数ショットの結果の強い性能を示す。 強化学習に基づくデモレトリバーの提案により,異なるサイズのLLMの潜在能力を活用できた。
  論文  参考訳（メタデータ） (2024-06-19T23:30:01Z)
• Rainier: Reinforced Knowledge Introspector for Commonsense Question Answering [74.90418840431425]
  そこで,Rainier(Reinforced Knowledge Introspector,Reinforced Knowledge Introspector,Reinforced Knowledge Introspector)を提案する。 我々のアプローチは、GPT-3で生成された知識を模倣することから始まり、強化学習を通して独自の知識を生み出すことを学ぶ。 本研究は,GPT-3より桁違いに小さいモデルで生成した知識が,GPT-3から抽出した知識の質を超えうることを報告した最初の事例である。
  論文  参考訳（メタデータ） (2022-10-06T17:34:06Z)
• A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
  本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。 我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。 提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
  論文  参考訳（メタデータ） (2022-06-30T02:35:04Z)
• Contextualized Knowledge-aware Attentive Neural Network: Enhancing Answer Selection with Knowledge [77.77684299758494]
  ナレッジグラフ(KG)による外部知識による回答選択モデル向上のアプローチを幅広く検討しています。 まず、KGの外部知識とテキスト情報との密接な相互作用を考慮し、QA文表現を学習するコンテキスト知識相互作用学習フレームワークであるナレッジアウェアニューラルネットワーク(KNN)を紹介します。 KG情報の多様性と複雑性に対処するために, カスタマイズされたグラフ畳み込みネットワーク (GCN) を介して構造情報を用いた知識表現学習を改善し, コンテキストベースおよび知識ベースの文表現を総合的に学習する コンテキスト型知識認識型アテンシブニューラルネットワーク (CKANN) を提案する。
  論文  参考訳（メタデータ） (2021-04-12T05:52:20Z)
• KRISP: Integrating Implicit and Symbolic Knowledge for Open-Domain Knowledge-Based VQA [107.7091094498848]
  VQAの最も難しい質問の1つは、質問に答えるために画像に存在しない外部の知識を必要とする場合です。 本研究では,解答に必要な知識が与えられたり記入されたりしないオープンドメイン知識を,トレーニング時やテスト時にも検討する。 知識表現と推論には2つのタイプがあります。 まず、トランスベースのモデルで教師なし言語事前トレーニングと教師付きトレーニングデータから効果的に学ぶことができる暗黙的な知識。
  論文  参考訳（メタデータ） (2020-12-20T20:13:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。