論文の概要: SePer: Measure Retrieval Utility Through The Lens Of Semantic Perplexity Reduction

• arxiv url: http://arxiv.org/abs/2503.01478v3
• Date: Wed, 05 Mar 2025 05:24:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 12:09:39.772283
• Title: SePer: Measure Retrieval Utility Through The Lens Of Semantic Perplexity Reduction
• Title（参考訳）: SePer: セマンティックパープレキシティ低減のレンズによる検索ユーティリティの測定
• Authors: Lu Dai, Yijie Xu, Jinhui Ye, Hao Liu, Hui Xiong,
• Abstract要約: 本稿では、RAGフレームワーク内の情報ゲインのレンズを通して、検索品質を測定する自動評価手法を提案する。 検索の利便性を,検索後の意味的難易度を低減する程度で定量化する。
• 参考スコア（独自算出の注目度）: 20.6787276745193
• License:
• Abstract: Large Language Models (LLMs) have demonstrated improved generation performance by incorporating externally retrieved knowledge, a process known as retrieval-augmented generation (RAG). Despite the potential of this approach, existing studies evaluate RAG effectiveness by 1) assessing retrieval and generation components jointly, which obscures retrieval's distinct contribution, or 2) examining retrievers using traditional metrics such as NDCG, which creates a gap in understanding retrieval's true utility in the overall generation process. To address the above limitations, in this work, we introduce an automatic evaluation method that measures retrieval quality through the lens of information gain within the RAG framework. Specifically, we propose Semantic Perplexity (SePer), a metric that captures the LLM's internal belief about the correctness of the retrieved information. We quantify the utility of retrieval by the extent to which it reduces semantic perplexity post-retrieval. Extensive experiments demonstrate that SePer not only aligns closely with human preferences but also offers a more precise and efficient evaluation of retrieval utility across diverse RAG scenarios.
• Abstract（参考訳）: LLM(Large Language Models)は、検索強化生成(RAG)と呼ばれる、外部から取得した知識を組み込むことにより、生成性能の向上を実証している。 このアプローチの可能性にもかかわらず、既存の研究はRAGの有効性を評価する。 1)検索と生成要素を共同で評価することにより、検索の独特な貢献を曖昧にする。 2) NDCGのような従来の指標を用いて検索者を調べることで, 全体の生成過程における検索の真の有用性のギャップを生じさせる。 本稿では,この制限に対処するため,RAGフレームワーク内の情報ゲインのレンズを通して,検索品質を測定する自動評価手法を提案する。 具体的には,抽出した情報の正確性に関するLLMの内部的信念を捉えたSePer(Semantic Perplexity)を提案する。 検索の利便性を,検索後の意味的難易度を低減する程度で定量化する。 大規模な実験では、SePerは人間の好みに忠実に適合するだけでなく、多様なRAGシナリオに対してより正確で効率的な検索ユーティリティの評価を提供する。

関連論文リスト

• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• RPO: Retrieval Preference Optimization for Robust Retrieval-Augmented Generation [33.85528514353727]
  本稿では,検索関連性に基づいた多元的知識を適応的に活用するRetrieval Preference Optimization (RPO)を提案する。 RPOは、トレーニングにおける検索関連性の認識を定量化する唯一のRAG指定アライメントアプローチである。 4つのデータセットの実験では、RPOは追加のコンポーネントを使わずに、RAGを4～10%精度で上回っている。
  論文  参考訳（メタデータ） (2025-01-23T14:58:56Z)
• Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
  本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。 具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。 さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• VERA: Validation and Enhancement for Retrieval Augmented systems [0.0]
  textbfValidation and textbfEnhancement for textbfRetrieval textbfAugmented system を提案する。 VERAは、外部検索が必要なかどうかを最初にチェックし、検索したコンテキストの関連性と冗長性を評価し、非必要情報の除去のために精査する評価器-既存のLCMを使用している。
  論文  参考訳（メタデータ） (2024-09-18T16:10:47Z)
• Exploring Information Retrieval Landscapes: An Investigation of a Novel Evaluation Techniques and Comparative Document Splitting Methods [0.0]
  本研究では, 教科書の構造的性質, 記事の簡潔さ, 小説の物語的複雑さについて, 明確な検索戦略が必要であることを示した。 オープンソースのモデルを用いて,質問対と回答対の包括的データセットを生成する新しい評価手法を提案する。 評価には、SequenceMatcher、BLEU、METEOR、BERT Scoreなどの重み付けされたスコアを使用して、システムの正確性と妥当性を評価する。
  論文  参考訳（メタデータ） (2024-09-13T02:08:47Z)
• SeRTS: Self-Rewarding Tree Search for Biomedical Retrieval-Augmented Generation [50.26966969163348]
  大規模言語モデル(LLM)は,検索増強世代(RAG)の進展に伴い,生物医学領域において大きな可能性を示した。 既存の検索強化アプローチは、様々なクエリやドキュメント、特に医療知識クエリに対処する上で、課題に直面している。 モンテカルロ木探索(MCTS)と自己回帰パラダイムに基づく自己回帰木探索(SeRTS)を提案する。
  論文  参考訳（メタデータ） (2024-06-17T06:48:31Z)
• RetrievalQA: Assessing Adaptive Retrieval-Augmented Generation for Short-form Open-Domain Question Answering [42.66223628527439]
  アダプティブ検索拡張生成(ARAG)は、不特定に検索するのではなく、クエリに対する検索の必要性を動的に決定することを目的としている。 この研究は、新しい世界とロングテール知識をカバーする1,271の短い形式の質問を含む、RetrievalQAというベンチマークを提示する。
  論文  参考訳（メタデータ） (2024-02-26T09:59:04Z)
• Corrective Retrieval Augmented Generation [36.04062963574603]
  Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。 生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。 CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
  論文  参考訳（メタデータ） (2024-01-29T04:36:39Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• Generation-Augmented Retrieval for Open-domain Question Answering [134.27768711201202]
  GAR(Generation-Augmented Retrieval)は、オープンドメインの質問に答える機能である。 クエリーに対して多様なコンテキストを生成することは、結果の融合が常により良い検索精度をもたらすので有益であることを示す。 GARは、抽出読取装置を備えた場合、抽出QA設定の下で、自然質問およびトリビアQAデータセットの最先端性能を達成する。
  論文  参考訳（メタデータ） (2020-09-17T23:08:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。