論文の概要: RetrievalQA: Assessing Adaptive Retrieval-Augmented Generation for Short-form Open-Domain Question Answering
- arxiv url: http://arxiv.org/abs/2402.16457v2
- Date: Wed, 5 Jun 2024 05:23:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-07 01:01:43.431930
- Title: RetrievalQA: Assessing Adaptive Retrieval-Augmented Generation for Short-form Open-Domain Question Answering
- Title(参考訳): RetrievalQA: 短期オープンドメイン質問応答に対する適応型検索拡張生成の評価
- Authors: Zihan Zhang, Meng Fang, Ling Chen,
- Abstract要約: アダプティブ検索拡張生成(ARAG)は、不特定に検索するのではなく、クエリに対する検索の必要性を動的に決定することを目的としている。
この研究は、新しい世界とロングテール知識をカバーする1,271の短い形式の質問を含む、RetrievalQAというベンチマークを提示する。
- 参考スコア(独自算出の注目度): 42.66223628527439
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adaptive retrieval-augmented generation (ARAG) aims to dynamically determine the necessity of retrieval for queries instead of retrieving indiscriminately to enhance the efficiency and relevance of the sourced information. However, previous works largely overlook the evaluation of ARAG approaches, leading to their effectiveness being understudied. This work presents a benchmark, RetrievalQA, comprising 1,271 short-form questions covering new world and long-tail knowledge. The knowledge necessary to answer the questions is absent from LLMs; therefore, external information must be retrieved to answer correctly. This makes RetrievalQA a suitable testbed to evaluate existing ARAG methods. We observe that calibration-based methods heavily rely on threshold tuning, while vanilla prompting is inadequate for guiding LLMs to make reliable retrieval decisions. Based on our findings, we propose Time-Aware Adaptive Retrieval (TA-ARE), a simple yet effective method that helps LLMs assess the necessity of retrieval without calibration or additional training. The dataset and code will be available at https://github.com/hyintell/RetrievalQA
- Abstract(参考訳): Adaptive Search-augmented Generation (ARAG) は、ソース情報の効率性と関連性を高めるために、無差別に検索する代わりに、クエリに対する検索の必要性を動的に決定することを目的としている。
しかし、従来の研究はARAGアプローチの評価を概ね見落としており、その効果が検討されている。
この研究は、新しい世界とロングテール知識をカバーする1,271の短い形式の質問を含む、RetrievalQAというベンチマークを提示する。
質問に答えるために必要な知識は LLM から欠落しているため、外部情報は正しく答えるために取り出さなければならない。
これにより、RetrievalQAは既存のARAGメソッドを評価するのに適したテストベッドとなる。
キャリブレーションに基づく手法はしきい値調整に大きく依存しているのに対し,バニラプロンプトはLLMを誘導して信頼性の高い検索決定を行うには不十分である。
本研究は,LLMが校正や追加訓練を伴わずに検索の必要性を評価するのに役立つ,シンプルかつ効果的な方法であるTA-ARE(Time-Aware Adaptive Retrieval)を提案する。
データセットとコードはhttps://github.com/hyintell/RetrievalQAで公開される。
関連論文リスト
- CtrlA: Adaptive Retrieval-Augmented Generation via Probe-Guided Control [25.149619999722248]
大規模言語モデル(LLM)の幻覚を、検索された外部知識で緩和するための有望な解決策として、検索拡張世代(RAG)が出現している。
CtrlAと呼ばれる効果的なプローブ誘導適応RAGフレームワークを導入することで、LCMの内部状態を探索し、そのような問題を緩和する試みを初めて提示する。
論文 参考訳(メタデータ) (2024-05-29T03:17:16Z) - When to Retrieve: Teaching LLMs to Utilize Information Retrieval Effectively [3.705145020383824]
本稿では,Large Language Models (LLMs) が,与えられた質問に答えるために追加のコンテキストを必要とする場合に,既製の情報検索(IR)システムを使用する方法を示す。
論文 参考訳(メタデータ) (2024-04-30T16:52:55Z) - CLARINET: Augmenting Language Models to Ask Clarification Questions for Retrieval [52.134133938779776]
CLARINETは,回答が正しい候補の確実性を最大化する質問を選択することで,情報的明確化を問うシステムである。
提案手法は,大規模言語モデル(LLM)を検索分布の条件付きで拡張し,各ターンで真の候補のランクを最大化する問題を生成する。
論文 参考訳(メタデータ) (2024-04-28T18:21:31Z) - SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。
SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。
様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
論文 参考訳(メタデータ) (2024-04-17T01:15:54Z) - Improving Retrieval for RAG based Question Answering Models on Financial Documents [0.0]
本稿では,RAGパイプラインの既存の制約について検討し,テキスト検索の方法を紹介する。
高度なチャンキングテクニック、クエリ拡張、メタデータアノテーションの組み込み、再ランク付けアルゴリズムの適用、埋め込みアルゴリズムの微調整などの戦略を練っている。
論文 参考訳(メタデータ) (2024-03-23T00:49:40Z) - REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering [122.62012375722124]
既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
論文 参考訳(メタデータ) (2024-02-27T13:22:51Z) - The Power of Noise: Redefining Retrieval for RAG Systems [19.387105120040157]
Retrieval-Augmented Generation (RAG) は、大規模言語モデルの事前学習知識を超えて拡張する方法として登場した。
我々は、RAGソリューションが取得すべきパスIRシステムの種類に焦点を当てる。
論文 参考訳(メタデータ) (2024-01-26T14:14:59Z) - Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。
検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。
SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
論文 参考訳(メタデータ) (2023-10-08T04:22:33Z) - Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。
この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
論文 参考訳(メタデータ) (2023-05-23T17:27:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。