論文の概要: Query Optimization for Parametric Knowledge Refinement in Retrieval-Augmented Large Language Models

• arxiv url: http://arxiv.org/abs/2411.07820v2
• Date: Wed, 13 Nov 2024 05:43:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 12:31:41.063218
• Title: Query Optimization for Parametric Knowledge Refinement in Retrieval-Augmented Large Language Models
• Title（参考訳）: 検索型大規模言語モデルにおけるパラメトリック知識再構成のためのクエリ最適化
• Authors: Youan Cong, Cheng Wang, Pritom Saha Akash, Kevin Chen-Chuan Chang,
• Abstract要約: Extract-Refine-Retrieve-Read (ERRR)フレームワークは、Retrieval-Augmented Generation (RAG)システムにおける事前検索情報ギャップを埋めるように設計されている。 RAGで使用される従来のクエリ最適化手法とは異なり、ERRRフレームワークはLarge Language Models (LLM) から知識を抽出することから始まる。
• 参考スコア（独自算出の注目度）: 26.353428245346166
• License:
• Abstract: We introduce the Extract-Refine-Retrieve-Read (ERRR) framework, a novel approach designed to bridge the pre-retrieval information gap in Retrieval-Augmented Generation (RAG) systems through query optimization tailored to meet the specific knowledge requirements of Large Language Models (LLMs). Unlike conventional query optimization techniques used in RAG, the ERRR framework begins by extracting parametric knowledge from LLMs, followed by using a specialized query optimizer for refining these queries. This process ensures the retrieval of only the most pertinent information essential for generating accurate responses. Moreover, to enhance flexibility and reduce computational costs, we propose a trainable scheme for our pipeline that utilizes a smaller, tunable model as the query optimizer, which is refined through knowledge distillation from a larger teacher model. Our evaluations on various question-answering (QA) datasets and with different retrieval systems show that ERRR consistently outperforms existing baselines, proving to be a versatile and cost-effective module for improving the utility and accuracy of RAG systems.
• Abstract（参考訳）: 本稿では,大規模言語モデル (LLM) の特定の知識要件を満たすように調整されたクエリ最適化により,検索済み情報ギャップを埋める新しい手法であるExtract-Refine-Retrieve-Read (ERRR) フレームワークを紹介する。 RAGで使用される従来のクエリ最適化手法とは異なり、ERRRフレームワークはLLMからパラメトリック知識を抽出し、その後、クエリを精算するための特別なクエリオプティマイザを使用する。 このプロセスは、正確な応答を生成するのに必要な最も重要な情報のみを検索することを保証する。 さらに, より小型のチューナブルモデルをクエリオプティマイザとして利用し, より大規模な教師モデルの知識蒸留により改良した, 柔軟性の向上と計算コストの削減を図り, パイプラインのトレーニング可能なスキームを提案する。 様々な質問応答(QA)データセットと検索システムを用いて評価した結果、ERRRは既存のベースラインを一貫して上回り、RAGシステムの有用性と精度を向上させるための汎用的で費用対効果の高いモジュールであることが判明した。

関連論文リスト

• Fast or Better? Balancing Accuracy and Cost in Retrieval-Augmented Generation with Flexible User Control [52.405085773954596]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデル幻覚を緩和するための強力なアプローチとして登場した。 既存のRAGフレームワークは、しばしば無差別に検索を適用し、非効率な再検索につながる。 本稿では,精度・コストのトレードオフを動的に調整できる新しいユーザ制御可能なRAGフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:56:20Z)
• RoseRAG: Robust Retrieval-augmented Generation with Small-scale LLMs via Margin-aware Preference Optimization [53.63439735067081]
  大規模言語モデル(LLM)は目覚ましい性能を達成したが、高い計算コストとレイテンシに直面している。 Retrieval-augmented Generation (RAG) は、外部知識を統合するのに役立つが、不完全な検索は、SLMを誤解させるノイズを引き起こす可能性がある。 我々は、Margin-aware Preference Optimizationを通じて、SLMのための堅牢なRAGフレームワークであるRoseRAGを提案する。
  論文  参考訳（メタデータ） (2025-02-16T04:56:53Z)
• The Efficiency vs. Accuracy Trade-off: Optimizing RAG-Enhanced LLM Recommender Systems Using Multi-Head Early Exit [46.37267466656765]
  本稿では,Retrieval-Augmented Generation(RAG)と革新的なマルチヘッドアーリーエグジットアーキテクチャを組み合わせた最適化フレームワークを提案する。 我々の実験は、信頼性の高いレコメンデーション配信に必要な精度を犠牲にすることなく、このアーキテクチャがいかに効果的に時間を削減するかを実証している。
  論文  参考訳（メタデータ） (2025-01-04T03:26:46Z)
• A Survey of Query Optimization in Large Language Models [10.255235456427037]
  RAGは、動的に検索し、最新の関連情報を活用することによって、大規模言語モデルの限界を緩和する。 QOは重要な要素として現れ、RAGの検索段階の有効性を決定する上で重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-12-23T13:26:04Z)
• Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
  UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。 我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
  論文  参考訳（メタデータ） (2024-12-16T19:11:55Z)
• Leveraging Retrieval-Augmented Generation for Persian University Knowledge Retrieval [2.749898166276854]
  本稿では,Large Language Models (LLM) を用いたレトリーバル拡張生成(RAG)パイプラインを用いた革新的なアプローチを提案する。 大学公式Webページからデータを体系的に抽出することにより、ユーザクエリに対する正確で文脈的に関連する応答を生成する。 実験の結果, 生成した応答の精度と関連性に大きな改善が認められた。
  論文  参考訳（メタデータ） (2024-11-09T17:38:01Z)
• VERA: Validation and Enhancement for Retrieval Augmented systems [0.0]
  textbfValidation and textbfEnhancement for textbfRetrieval textbfAugmented system を提案する。 VERAは、外部検索が必要なかどうかを最初にチェックし、検索したコンテキストの関連性と冗長性を評価し、非必要情報の除去のために精査する評価器-既存のLCMを使用している。
  論文  参考訳（メタデータ） (2024-09-18T16:10:47Z)
• GenCRF: Generative Clustering and Reformulation Framework for Enhanced Intent-Driven Information Retrieval [20.807374287510623]
  我々は,多種多様な意図を適応的に捉えるための生成クラスタリング・改革フレームワークGenCRFを提案する。 我々はGenCRFが,nDCG@10で従来のクエリ修正SOTAを最大12%上回り,最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2024-09-17T05:59:32Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)
• RAGGED: Towards Informed Design of Retrieval Augmented Generation Systems [51.171355532527365]
  Retrieval-augmented Generation (RAG) は言語モデル(LM)の性能を大幅に向上させる RAGGEDは、様々な文書ベースの質問応答タスクにわたるRAG構成を分析するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-03-14T02:26:31Z)
• Information Directed Reward Learning for Reinforcement Learning [64.33774245655401]
  我々は、標準rlアルゴリズムが可能な限り少数の専門家クエリで高い期待値を達成することができる報酬関数のモデルを学ぶ。 特定のタイプのクエリ用に設計された以前のアクティブな報酬学習方法とは対照的に、IDRLは自然に異なるクエリタイプに対応します。 我々は,複数の環境における広範囲な評価と,異なるタイプのクエリでこの結果を支持する。
  論文  参考訳（メタデータ） (2021-02-24T18:46:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。