論文の概要: QE-RAG: A Robust Retrieval-Augmented Generation Benchmark for Query Entry Errors

• arxiv url: http://arxiv.org/abs/2504.04062v1
• Date: Sat, 05 Apr 2025 05:24:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:08:40.802053
• Title: QE-RAG: A Robust Retrieval-Augmented Generation Benchmark for Query Entry Errors
• Title（参考訳）: QE-RAG: クエリ入力エラーに対するロバスト検索拡張生成ベンチマーク
• Authors: Kepu Zhang, Zhongxiang Sun, Weijie Yu, Xiaoxue Zang, Kai Zheng, Yang Song, Han Li, Jun Xu,
• Abstract要約: Retriever-augmented Generation (RAG) は、大規模言語モデル(LLM)の事実精度を高めるために広く採用されているアプローチである。 QE-RAGは、クエリエントリエラーに対するパフォーマンス評価に特化した、最初の堅牢なRAGベンチマークである。 コントラスト学習に基づくロバスト検索学習法と検索拡張クエリ補正法を提案する。
• 参考スコア（独自算出の注目度）: 23.225358970952197
• License:
• Abstract: Retriever-augmented generation (RAG) has become a widely adopted approach for enhancing the factual accuracy of large language models (LLMs). While current benchmarks evaluate the performance of RAG methods from various perspectives, they share a common assumption that user queries used for retrieval are error-free. However, in real-world interactions between users and LLMs, query entry errors such as keyboard proximity errors, visual similarity errors, and spelling errors are frequent. The impact of these errors on current RAG methods against such errors remains largely unexplored. To bridge this gap, we propose QE-RAG, the first robust RAG benchmark designed specifically to evaluate performance against query entry errors. We augment six widely used datasets by injecting three common types of query entry errors into randomly selected user queries at rates of 20\% and 40\%, simulating typical user behavior in real-world scenarios. We analyze the impact of these errors on LLM outputs and find that corrupted queries degrade model performance, which can be mitigated through query correction and training a robust retriever for retrieving relevant documents. Based on these insights, we propose a contrastive learning-based robust retriever training method and a retrieval-augmented query correction method. Extensive in-domain and cross-domain experiments reveal that: (1) state-of-the-art RAG methods including sequential, branching, and iterative methods, exhibit poor robustness to query entry errors; (2) our method significantly enhances the robustness of RAG when handling query entry errors and it's compatible with existing RAG methods, further improving their robustness.
• Abstract（参考訳）: Retriever-augmented Generation (RAG) は、大規模言語モデル(LLM)の事実精度を高めるために広く採用されているアプローチである。 現在のベンチマークでは、様々な観点からRAGメソッドのパフォーマンスを評価するが、検索に使用されるユーザクエリはエラーのないという一般的な仮定を共有している。 しかし,ユーザとLLM間のリアルタイムインタラクションでは,キーボード近接誤差や視覚的類似性エラー,スペルエラーなどのクエリエントリエラーが頻繁に発生する。 これらの誤りが現在のRAG法に与える影響は未解明のままである。 このギャップを埋めるために、クエリエントリエラーに対するパフォーマンス評価を専門とする、最初の堅牢なRAGベンチマークであるQE-RAGを提案する。 ランダムに選択されたユーザクエリに3つの一般的なクエリエントリエラーを20倍と40倍の率で注入し、現実のシナリオで典型的なユーザ動作をシミュレートすることで、広く使われているデータセットを6つ増やす。 我々は、これらのエラーがLCM出力に与える影響を分析し、破損したクエリがモデル性能を劣化させ、クエリの修正と、関連する文書を検索するための堅牢な検索器のトレーニングによって軽減できることを示した。 これらの知見に基づいて,コントラスト学習に基づくロバスト検索学習法と検索拡張クエリ補正法を提案する。 1) 逐次的, 分岐的, 反復的手法を含む最先端のRAG手法では, クエリ入力エラーに対する堅牢性が低いこと, (2) クエリ入力エラー処理時のRAGの堅牢性が著しく向上すること, 既存のRAG手法と互換性があること, さらにその堅牢性が向上すること, などである。

関連論文リスト

• Fast or Better? Balancing Accuracy and Cost in Retrieval-Augmented Generation with Flexible User Control [52.405085773954596]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデル幻覚を緩和するための強力なアプローチとして登場した。 既存のRAGフレームワークは、しばしば無差別に検索を適用し、非効率な再検索につながる。 本稿では,精度・コストのトレードオフを動的に調整できる新しいユーザ制御可能なRAGフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:56:20Z)
• Riddle Me This! Stealthy Membership Inference for Retrieval-Augmented Generation [18.098228823748617]
  本稿では,RAGデータストア内の文書を対象としたメンバシップ推論手法であるInterrogation Attack (IA)を提案する。 ステルス性を維持しながら、たった30クエリで推論に成功したことを実証します。 我々は,様々なRAG構成に対する事前推論攻撃に対して,TPR@1%FPRの2倍の改善が観察された。
  論文  参考訳（メタデータ） (2025-02-01T04:01:18Z)
• Toward Optimal Search and Retrieval for RAG [39.69494982983534]
  Retrieval-augmented Generation (RAG)は、Large Language Models (LLM)に関連するメモリ関連の課題に対処するための有望な方法である。 ここでは、質問回答(QA)などの共通タスクに対して、レトリバーをRAGパイプラインに最適化する方法を理解することを目的としている。
  論文  参考訳（メタデータ） (2024-11-11T22:06:51Z)
• JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
  本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。 我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。 さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
  論文  参考訳（メタデータ） (2024-10-31T18:43:12Z)
• ChunkRAG: Novel LLM-Chunk Filtering Method for RAG Systems [2.8692611791027893]
  Retrieval-Augmented Generation (RAG) システムは、無関係またはゆるい関連情報の検索によって不正確な応答を生成する。 チャンクレベルで取得した情報を評価・フィルタリングすることでRAGシステムを強化するフレームワークであるChunkRAGを提案する。
  論文  参考訳（メタデータ） (2024-10-25T14:07:53Z)
• Optimizing Query Generation for Enhanced Document Retrieval in RAG [53.10369742545479]
  大規模言語モデル(LLM)は様々な言語タスクに優れるが、しばしば誤った情報を生成する。 Retrieval-Augmented Generation (RAG) は、正確な応答に文書検索を使用することによってこれを緩和することを目的としている。
  論文  参考訳（メタデータ） (2024-07-17T05:50:32Z)
• Face4RAG: Factual Consistency Evaluation for Retrieval Augmented Generation in Chinese [3.724862061593193]
  従来の検索時拡張世代(RAG)における事実整合性エラーの大きな問題は、FCE(Factual Consistency Evaluation)の研究を動機づけている 我々は,基礎となるLarge Language Models (LLM) に依存しないRAGのための,最初の総合的なFCEベンチマークemphFace4RAGを提案する。 提案するベンチマークでは,既存のFCE手法が論理的誤りを検出できないことを発見した。
  論文  参考訳（メタデータ） (2024-07-01T08:35:04Z)
• SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval [92.27387459751309]
  ニューラルスパース検索を評価するための統一PythonツールキットであるSPRINTを提供する。 我々は、よく認識されているベンチマークBEIRにおいて、強く再現可能なゼロショットスパース検索ベースラインを確立する。 SPLADEv2は、元のクエリとドキュメントの外で、ほとんどのトークンでスパース表現を生成する。
  論文  参考訳（メタデータ） (2023-07-19T22:48:02Z)
• LoL: A Comparative Regularization Loss over Query Reformulation Losses for Pseudo-Relevance Feedback [70.44530794897861]
  Pseudo-Relevance feedback (PRF) は、検索精度を向上させるための効果的なクエリ修正手法であることが証明されている。 既存のPRF手法は、同じクエリから派生した修正クエリを個別に扱うが、異なる数のフィードバックドキュメントを使用する。 そこで我々はLos-over-Loss(LoL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-25T10:42:50Z)
• Factual Error Correction for Abstractive Summaries Using Entity Retrieval [57.01193722520597]
  本稿では,エンティティ検索後処理に基づく効率的な事実誤り訂正システムRFECを提案する。 RFECは、原文と対象要約とを比較して、原文から証拠文を検索する。 次に、RFECは、エビデンス文を考慮し、要約中のエンティティレベルのエラーを検出し、エビデンス文から正確なエンティティに置換する。
  論文  参考訳（メタデータ） (2022-04-18T11:35:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。