論文の概要: Assessing the Robustness of Retrieval-Augmented Generation Systems in K-12 Educational Question Answering with Knowledge Discrepancies

• arxiv url: http://arxiv.org/abs/2412.08985v1
• Date: Thu, 12 Dec 2024 06:38:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:33:37.234040
• Title: Assessing the Robustness of Retrieval-Augmented Generation Systems in K-12 Educational Question Answering with Knowledge Discrepancies
• Title（参考訳）: K-12における検索強化システムのロバスト性の評価
• Authors: Tianshi Zheng, Weihan Li, Jiaxin Bai, Weiqi Wang, Yangqiu Song,
• Abstract要約: 大規模言語モデルにおける教科書とパラメトリック知識の相違がRAGシステムの有効性を損なう可能性があることを示す。 実アプリケーションにおける知識の相違をシミュレートする質問応答データセットであるEduKDQAを提案する。 その結果,ほとんどのRAGシステムは,知識の相違に対処する上で,大幅な性能低下に悩まされていることがわかった。
• 参考スコア（独自算出の注目度）: 41.49674849980441
• License:
• Abstract: Retrieval-Augmented Generation (RAG) systems have demonstrated remarkable potential as question answering systems in the K-12 Education domain, where knowledge is typically queried within the restricted scope of authoritative textbooks. However, the discrepancy between textbooks and the parametric knowledge in Large Language Models (LLMs) could undermine the effectiveness of RAG systems. To systematically investigate the robustness of RAG systems under such knowledge discrepancies, we present EduKDQA, a question answering dataset that simulates knowledge discrepancies in real applications by applying hypothetical knowledge updates in answers and source documents. EduKDQA includes 3,005 questions covering five subjects, under a comprehensive question typology from the perspective of context utilization and knowledge integration. We conducted extensive experiments on retrieval and question answering performance. We find that most RAG systems suffer from a substantial performance drop in question answering with knowledge discrepancies, while questions that require integration of contextual knowledge and parametric knowledge pose a challenge to LLMs.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) システムは、知識が典型的には権威教科書の範囲内でクエリされるK-12教育領域の質問応答システムとして、顕著な可能性を示している。 しかし,Large Language Models (LLMs) における教科書とパラメトリック知識の相違はRAGシステムの有効性を損なう可能性がある。 このような知識不一致下でのRAGシステムの堅牢性を体系的に検討するため,実アプリケーションにおける知識不一致をシミュレーションする質問応答データセットであるEduKDQAを提案する。 EduKDQAには5つの主題をカバーする3,005の質問が含まれている。 検索と質問応答性能に関する広範な実験を行った。 ほとんどのRAGシステムは、知識の相違に答える上で、かなりの性能低下に悩まされているのに対し、文脈知識とパラメトリック知識の統合を必要とする質問は、LLMに挑戦する。

関連論文リスト

• Do You Know What You Are Talking About? Characterizing Query-Knowledge Relevance For Reliable Retrieval Augmented Generation [19.543102037001134]
  言語モデル(LM)は幻覚や誤報に悩まされていることが知られている。 外部知識コーパスから検証可能な情報を検索する検索拡張生成(RAG)は、これらの問題に対する具体的な解決策を提供する。 RAG生成品質は、ユーザのクエリと検索したドキュメントの関連性に大きく依存する。
  論文  参考訳（メタデータ） (2024-10-10T19:14:55Z)
• Mindful-RAG: A Study of Points of Failure in Retrieval Augmented Generation [11.471919529192048]
  LLM(Large Language Models)は、コヒーレントで文脈的に関係のあるテキストを生成するのに熟練した言語モデルである。 Retrieval-augmented Generation (RAG) システムは、構造化知識グラフ(KG)のような外部知識ソースを組み込むことによってこれを緩和する。 本研究は,既存のKG法に基づくRAG法における誤りパターンの解析と8つの臨界故障点の同定により,このジレンマについて検討した。
  論文  参考訳（メタデータ） (2024-07-16T23:50:07Z)
• Knowledge Tagging System on Math Questions via LLMs with Flexible Demonstration Retriever [48.5585921817745]
  大きな言語モデル(LLM)は知識タグ付けタスクを自動化するために使われる。 算数問題における知識タグ付けタスクに対するゼロショットと少数ショットの結果の強い性能を示す。 強化学習に基づくデモレトリバーの提案により,異なるサイズのLLMの潜在能力を活用できた。
  論文  参考訳（メタデータ） (2024-06-19T23:30:01Z)
• Rainier: Reinforced Knowledge Introspector for Commonsense Question Answering [74.90418840431425]
  そこで,Rainier(Reinforced Knowledge Introspector,Reinforced Knowledge Introspector,Reinforced Knowledge Introspector)を提案する。 我々のアプローチは、GPT-3で生成された知識を模倣することから始まり、強化学習を通して独自の知識を生み出すことを学ぶ。 本研究は,GPT-3より桁違いに小さいモデルで生成した知識が,GPT-3から抽出した知識の質を超えうることを報告した最初の事例である。
  論文  参考訳（メタデータ） (2022-10-06T17:34:06Z)
• A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
  本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。 我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。 提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
  論文  参考訳（メタデータ） (2022-06-30T02:35:04Z)
• Contextualized Knowledge-aware Attentive Neural Network: Enhancing Answer Selection with Knowledge [77.77684299758494]
  ナレッジグラフ(KG)による外部知識による回答選択モデル向上のアプローチを幅広く検討しています。 まず、KGの外部知識とテキスト情報との密接な相互作用を考慮し、QA文表現を学習するコンテキスト知識相互作用学習フレームワークであるナレッジアウェアニューラルネットワーク(KNN)を紹介します。 KG情報の多様性と複雑性に対処するために, カスタマイズされたグラフ畳み込みネットワーク (GCN) を介して構造情報を用いた知識表現学習を改善し, コンテキストベースおよび知識ベースの文表現を総合的に学習する コンテキスト型知識認識型アテンシブニューラルネットワーク (CKANN) を提案する。
  論文  参考訳（メタデータ） (2021-04-12T05:52:20Z)
• KRISP: Integrating Implicit and Symbolic Knowledge for Open-Domain Knowledge-Based VQA [107.7091094498848]
  VQAの最も難しい質問の1つは、質問に答えるために画像に存在しない外部の知識を必要とする場合です。 本研究では,解答に必要な知識が与えられたり記入されたりしないオープンドメイン知識を,トレーニング時やテスト時にも検討する。 知識表現と推論には2つのタイプがあります。 まず、トランスベースのモデルで教師なし言語事前トレーニングと教師付きトレーニングデータから効果的に学ぶことができる暗黙的な知識。
  論文  参考訳（メタデータ） (2020-12-20T20:13:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。