Fugu-MT 論文翻訳(概要): Do You Know What You Are Talking About? Characterizing Query-Knowledge Relevance For Reliable Retrieval Augmented Generation

論文の概要: Do You Know What You Are Talking About? Characterizing Query-Knowledge Relevance For Reliable Retrieval Augmented Generation

arxiv url: http://arxiv.org/abs/2410.08320v1
Date: Thu, 10 Oct 2024 19:14:55 GMT
ステータス: 処理完了
システム内更新日: 2024-10-31 04:06:19.014441
Title: Do You Know What You Are Talking About? Characterizing Query-Knowledge Relevance For Reliable Retrieval Augmented Generation
Title（参考訳）: 自分が何を言っているか知っているか? 信頼性の高い検索拡張生成のためのクエリ知識の関連性を特徴付ける
Authors: Zhuohang Li, Jiaxin Zhang, Chao Yan, Kamalika Das, Sricharan Kumar, Murat Kantarcioglu, Bradley A. Malin,
Abstract要約: 言語モデル(LM)は幻覚や誤報に悩まされていることが知られている。外部知識コーパスから検証可能な情報を検索する検索拡張生成(RAG)は、これらの問題に対する具体的な解決策を提供する。 RAG生成品質は、ユーザのクエリと検索したドキュメントの関連性に大きく依存する。
参考スコア（独自算出の注目度）: 19.543102037001134
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Language models (LMs) are known to suffer from hallucinations and misinformation. Retrieval augmented generation (RAG) that retrieves verifiable information from an external knowledge corpus to complement the parametric knowledge in LMs provides a tangible solution to these problems. However, the generation quality of RAG is highly dependent on the relevance between a user's query and the retrieved documents. Inaccurate responses may be generated when the query is outside of the scope of knowledge represented in the external knowledge corpus or if the information in the corpus is out-of-date. In this work, we establish a statistical framework that assesses how well a query can be answered by an RAG system by capturing the relevance of knowledge. We introduce an online testing procedure that employs goodness-of-fit (GoF) tests to inspect the relevance of each user query to detect out-of-knowledge queries with low knowledge relevance. Additionally, we develop an offline testing framework that examines a collection of user queries, aiming to detect significant shifts in the query distribution which indicates the knowledge corpus is no longer sufficiently capable of supporting the interests of the users. We demonstrate the capabilities of these strategies through a systematic evaluation on eight question-answering (QA) datasets, the results of which indicate that the new testing framework is an efficient solution to enhance the reliability of existing RAG systems.
Abstract（参考訳）: 言語モデル(LM)は幻覚や誤報に悩まされていることが知られている。 LMのパラメトリック知識を補完するために、外部知識コーパスから検証可能な情報を取得する検索拡張生成(RAG)は、これらの問題に対する具体的な解決策を提供する。しかし、RAGの生成品質は、ユーザのクエリと検索したドキュメントの関連性に大きく依存している。不正確な応答は、クエリが外部知識コーパスに表される知識の範囲外である場合や、コーパス内の情報が時代遅れである場合に発生する。本研究では,知識の関連性を把握し,RAGシステムによる問合せの精度を評価するための統計的枠組みを確立する。本稿では,GoF(Goness-of-fit)テストを用いて,各ユーザクエリの関連性を調べ,知識の低いアウト・オブ・知識クエリを検出するオンラインテスト手順を提案する。さらに,ユーザクエリのコレクションを調査するオフラインテストフレームワークを開発し,クエリ分布の大幅な変化を検出することを目的として,知識コーパスがユーザの利益を十分にサポートできないことを示す。 8つの質問回答(QA)データセットを体系的に評価することで,これらの戦略の能力を実証し,その結果,新たなテストフレームワークが既存のRAGシステムの信頼性を高めるための効率的なソリューションであることを示す。

関連論文リスト

Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
論文参考訳（メタデータ） (2024-12-16T19:11:55Z)
Semantic Tokens in Retrieval Augmented Generation [0.0]
本稿では,確率的RAGシステムと決定論的に検証可能な応答のギャップを埋めるための評価モジュールを導入した新しい比較RAGシステムを提案する。このフレームワークは、高い精度と検証可能性を必要とする領域において、より信頼性が高くスケーラブルな質問応答アプリケーションを実現する。
論文参考訳（メタデータ） (2024-12-03T16:52:06Z)
Context Awareness Gate For Retrieval Augmented Generation [2.749898166276854]
Retrieval Augmented Generation (RAG) は、大規模言語モデル(LLM)の限界を軽減し、ドメイン固有の質問に答える手段として広く採用されている。これまでの研究は主に、取得したデータチャンクの精度と品質を改善し、生成パイプライン全体のパフォーマンスを向上させることに重点を置いてきた。オープンドメイン質問応答における無関係情報検索の効果について検討し,LLM出力の品質に対する顕著な有害な影響を明らかにする。
論文参考訳（メタデータ） (2024-11-25T06:48:38Z)
Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
論文参考訳（メタデータ） (2024-10-11T14:03:29Z)
On the Vulnerability of Applying Retrieval-Augmented Generation within Knowledge-Intensive Application Domains [34.122040172188406]
Retrieval-Augmented Generation (RAG)は、知識集約ドメインにおける大規模言語モデル(LLM)の性能向上を実証的に示している。医学的Q&Aにおいて,RAGは普遍的な毒殺攻撃に弱いことが示唆された。我々は、RAGの安全な使用を保証するために、新しい検出ベースの防御を開発する。
論文参考訳（メタデータ） (2024-09-12T02:43:40Z)
REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [115.72130322143275]
REAR(Relevance-Aware Retrieval-augmented approach for open-domain Question answering, QA) 我々は,特殊な設計のアセスメントモジュールを組み込むことで,LLMベースのRAGシステムのための新しいアーキテクチャを開発する。オープンドメインの4つのQAタスクの実験では、REARは以前の競争力のあるRAGアプローチよりも大幅に優れていた。
論文参考訳（メタデータ） (2024-02-27T13:22:51Z)
Merging Generated and Retrieved Knowledge for Open-Domain QA [72.42262579925911]
COMBOは、より良いオープンドメインQAフレームワークのための互換性指向の知識の融合である。 COMBOは4つのテスト済みオープンドメインQAベンチマークのうち3つで競合ベースラインを上回っていることを示す。
論文参考訳（メタデータ） (2023-10-22T19:37:06Z)
Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。 SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
論文参考訳（メタデータ） (2023-10-08T04:22:33Z)
A Unified End-to-End Retriever-Reader Framework for Knowledge-based VQA [67.75989848202343]
本稿では,知識に基づくVQAに向けて,エンド・ツー・エンドのレトリバー・リーダー・フレームワークを提案する。我々は、視覚言語による事前学習モデルからの多モーダルな暗黙の知識に光を当て、知識推論の可能性を掘り下げた。提案手法では,知識検索のガイダンスを提供するだけでなく,質問応答に対してエラーが発生しやすいケースも排除できる。
論文参考訳（メタデータ） (2022-06-30T02:35:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。