論文の概要: Do You Know What You Are Talking About? Characterizing Query-Knowledge Relevance For Reliable Retrieval Augmented Generation
- arxiv url: http://arxiv.org/abs/2410.08320v1
- Date: Thu, 10 Oct 2024 19:14:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-14 13:33:26.158264
- Title: Do You Know What You Are Talking About? Characterizing Query-Knowledge Relevance For Reliable Retrieval Augmented Generation
- Title(参考訳): 自分が何を言っているか知っているか? 信頼性の高い検索拡張生成のためのクエリ知識の関連性を特徴付ける
- Authors: Zhuohang Li, Jiaxin Zhang, Chao Yan, Kamalika Das, Sricharan Kumar, Murat Kantarcioglu, Bradley A. Malin,
- Abstract要約: 言語モデル(LM)は幻覚や誤報に悩まされていることが知られている。
外部知識コーパスから検証可能な情報を検索する検索拡張生成(RAG)は、これらの問題に対する具体的な解決策を提供する。
RAG生成品質は、ユーザのクエリと検索したドキュメントの関連性に大きく依存する。
- 参考スコア(独自算出の注目度): 19.543102037001134
- License:
- Abstract: Language models (LMs) are known to suffer from hallucinations and misinformation. Retrieval augmented generation (RAG) that retrieves verifiable information from an external knowledge corpus to complement the parametric knowledge in LMs provides a tangible solution to these problems. However, the generation quality of RAG is highly dependent on the relevance between a user's query and the retrieved documents. Inaccurate responses may be generated when the query is outside of the scope of knowledge represented in the external knowledge corpus or if the information in the corpus is out-of-date. In this work, we establish a statistical framework that assesses how well a query can be answered by an RAG system by capturing the relevance of knowledge. We introduce an online testing procedure that employs goodness-of-fit (GoF) tests to inspect the relevance of each user query to detect out-of-knowledge queries with low knowledge relevance. Additionally, we develop an offline testing framework that examines a collection of user queries, aiming to detect significant shifts in the query distribution which indicates the knowledge corpus is no longer sufficiently capable of supporting the interests of the users. We demonstrate the capabilities of these strategies through a systematic evaluation on eight question-answering (QA) datasets, the results of which indicate that the new testing framework is an efficient solution to enhance the reliability of existing RAG systems.
- Abstract(参考訳): 言語モデル(LM)は幻覚や誤報に悩まされていることが知られている。
LMのパラメトリック知識を補完するために、外部知識コーパスから検証可能な情報を取得する検索拡張生成(RAG)は、これらの問題に対する具体的な解決策を提供する。
しかし、RAGの生成品質は、ユーザのクエリと検索したドキュメントの関連性に大きく依存している。
不正確な応答は、クエリが外部知識コーパスに表される知識の範囲外である場合や、コーパス内の情報が時代遅れである場合に発生する。
本研究では,知識の関連性を把握し,RAGシステムによる問合せの精度を評価するための統計的枠組みを確立する。
本稿では,GoF(Goness-of-fit)テストを用いて,各ユーザクエリの関連性を調べ,知識の低いアウト・オブ・知識クエリを検出するオンラインテスト手順を提案する。
さらに,ユーザクエリのコレクションを調査するオフラインテストフレームワークを開発し,クエリ分布の大幅な変化を検出することを目的として,知識コーパスがユーザの利益を十分にサポートできないことを示す。
8つの質問回答(QA)データセットを体系的に評価することで,これらの戦略の能力を実証し,その結果,新たなテストフレームワークが既存のRAGシステムの信頼性を高めるための効率的なソリューションであることを示す。
関連論文リスト
- Enhancing Retrieval and Managing Retrieval: A Four-Module Synergy for Improved Quality and Efficiency in RAG Systems [14.62114319247837]
Retrieval-augmented Generation (RAG)技術は、大規模言語モデル(LLM)のコンテキスト内学習機能を利用して、より正確で関連する応答を生成する。
重要なコンポーネントであるQuery Rewriterモジュールは、検索フレンドリーなクエリを生成することで知識検索を強化する。
これら4つのRAGモジュールは、RAGシステムの応答品質と効率を相乗的に改善する。
論文 参考訳(メタデータ) (2024-07-15T12:35:00Z) - Redefining Information Retrieval of Structured Database via Large Language Models [9.65171883231521]
本稿では,ChatLRと呼ばれる新しい検索拡張フレームワークを提案する。
主に、Large Language Models (LLM) の強力な意味理解能力を用いて、正確かつ簡潔な情報検索を実現する。
実験の結果、ChatLRがユーザクエリに対処する効果を示し、全体の情報検索精度は98.8%を超えた。
論文 参考訳(メタデータ) (2024-05-09T02:37:53Z) - REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering [122.62012375722124]
既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
論文 参考訳(メタデータ) (2024-02-27T13:22:51Z) - Learning to Filter Context for Retrieval-Augmented Generation [75.18946584853316]
生成モデルは、部分的にまたは完全に無関係な経路が与えられた出力を生成するために要求される。
FILCOは、語彙と情報理論のアプローチに基づいて有用なコンテキストを特定する。
テスト時に検索したコンテキストをフィルタリングできるコンテキストフィルタリングモデルをトレーニングする。
論文 参考訳(メタデータ) (2023-11-14T18:41:54Z) - Merging Generated and Retrieved Knowledge for Open-Domain QA [72.42262579925911]
COMBOは、より良いオープンドメインQAフレームワークのための互換性指向の知識の融合である。
COMBOは4つのテスト済みオープンドメインQAベンチマークのうち3つで競合ベースラインを上回っていることを示す。
論文 参考訳(メタデータ) (2023-10-22T19:37:06Z) - Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。
検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。
SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
論文 参考訳(メタデータ) (2023-10-08T04:22:33Z) - Learning to Retrieve Engaging Follow-Up Queries [12.380514998172199]
ユーザが持つ可能性のある次の質問を予測するための検索ベースシステムと関連するデータセットを提案する。
このようなシステムは,ユーザの知識探索を積極的に支援することで,より活発な対話を実現する。
論文 参考訳(メタデータ) (2023-02-21T20:26:23Z) - A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。
我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。
提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
論文 参考訳(メタデータ) (2022-06-30T02:35:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。