論文の概要: Evaluating the Retrieval Component in LLM-Based Question Answering Systems

• arxiv url: http://arxiv.org/abs/2406.06458v1
• Date: Mon, 10 Jun 2024 16:46:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 12:49:35.684388
• Title: Evaluating the Retrieval Component in LLM-Based Question Answering Systems
• Title（参考訳）: LLMに基づく質問応答システムにおける検索成分の評価
• Authors: Ashkan Alinejad, Krtin Kumar, Ali Vahdat,
• Abstract要約: 本研究では,Retrieval-Augmented Generation (RAG)ベースのチャットボットにおける検索者評価のためのベースラインを提案する。 以上の結果から, この評価フレームワークは, 検索者の動作状況をよりよく把握できることを示した。 本手法では,無関係な文脈を無視するLLMの強みと,その応答における潜在的な誤りや幻覚を考察する。
• 参考スコア（独自算出の注目度）: 1.7013938542585922
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Question answering systems (QA) utilizing Large Language Models (LLMs) heavily depend on the retrieval component to provide them with domain-specific information and reduce the risk of generating inaccurate responses or hallucinations. Although the evaluation of retrievers dates back to the early research in Information Retrieval, assessing their performance within LLM-based chatbots remains a challenge. This study proposes a straightforward baseline for evaluating retrievers in Retrieval-Augmented Generation (RAG)-based chatbots. Our findings demonstrate that this evaluation framework provides a better image of how the retriever performs and is more aligned with the overall performance of the QA system. Although conventional metrics such as precision, recall, and F1 score may not fully capture LLMs' capabilities - as they can yield accurate responses despite imperfect retrievers - our method considers LLMs' strengths to ignore irrelevant contexts, as well as potential errors and hallucinations in their responses.
• Abstract（参考訳）: 大規模言語モデル(LLM)を利用した質問応答システム(QA)は、ドメイン固有の情報を提供し、不正確な応答や幻覚を引き起こすリスクを低減するために、検索コンポーネントに大きく依存している。 検索者の評価は情報検索の初期の研究にさかのぼるが、LLMベースのチャットボットでの性能を評価することは依然として困難である。 本研究では,Retrieval-Augmented Generation (RAG)ベースのチャットボットにおける検索者評価のための簡単なベースラインを提案する。 以上の結果から, この評価フレームワークは, 検索器の動作状況をよりよく把握し, 総合的なQAシステムの性能に適合していることが示唆された。 精度,リコール,F1スコアといった従来の指標では,不完全な検索者にもかかわらず正確な応答を得られるため,LLMの能力を完全に把握できない場合があるが,本手法では,無関係な文脈を無視するLLMの強みや,その応答における潜在的な誤りや幻覚を考察する。

関連論文リスト

• The Geometry of Queries: Query-Based Innovations in Retrieval-Augmented Generation [1.2839205715237014]
  大きな言語モデル(LLM)は、慢性疾患に対する個人的健康管理を大幅に改善する可能性がある。 LLMは多様なインターネットデータから学んだパターンに基づいて応答を生成する。 Retrieval Augmented Generation (RAG)は、RAG応答における幻覚と不正確性を緩和する。
  論文  参考訳（メタデータ） (2024-07-25T13:47:01Z)
• Unraveling and Mitigating Retriever Inconsistencies in Retrieval-Augmented Large Language Models [25.346800371132645]
  Retrieval-augmented Large Language Models (RALMs) は、元の検索自由言語モデル (LMs) を一貫して上回るものではない。 提案実験により, この例レベルの性能不整合性は, 検索強化と検索不要のLMの間だけでなく, 異なる検索者の間にも存在することが明らかとなった。 本稿では,異なる知識ソースから適応的に検索し,予測不能な読み出し誤りを効果的に低減できるトレーニング可能なフレームワークであるEnsemble of Retrievers(EoR)を紹介する。
  論文  参考訳（メタデータ） (2024-05-31T08:22:49Z)
• SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
  大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。 SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。 様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
  論文  参考訳（メタデータ） (2024-04-17T01:15:54Z)
• Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
  自動生成関連判定(QPP-GenRE)を用いたQPPフレームワークを提案する。 QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。 これにより、生成した関連判断を擬似ラベルとして利用して、任意のIR評価尺度を予測することができる。
  論文  参考訳（メタデータ） (2024-04-01T09:33:05Z)
• RetrievalQA: Assessing Adaptive Retrieval-Augmented Generation for Short-form Open-Domain Question Answering [42.66223628527439]
  アダプティブ検索拡張生成(ARAG)は、不特定に検索するのではなく、クエリに対する検索の必要性を動的に決定することを目的としている。 この研究は、新しい世界とロングテール知識をカバーする1,271の短い形式の質問を含む、RetrievalQAというベンチマークを提示する。
  論文  参考訳（メタデータ） (2024-02-26T09:59:04Z)
• The Power of Noise: Redefining Retrieval for RAG Systems [19.387105120040157]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデルの事前学習知識を超えて拡張する方法として登場した。 我々は、RAGソリューションが取得すべきパスIRシステムの種類に焦点を当てる。
  論文  参考訳（メタデータ） (2024-01-26T14:14:59Z)
• Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language Models [57.80297731039275]
  CoN(Chain-of-Noting)は、ノイズや無関係な文書、未知のシナリオの処理において、ALMの堅牢性を改善することを目的とした、新しいアプローチである。 CoNは、完全にノイズの多い検索された文書が与えられるEMスコアの+7.9と、トレーニング済みの知識範囲外にあるリアルタイム質問に対する拒絶率+10.5の平均的な改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T18:54:53Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• Benchmarking Large Language Models in Retrieval-Augmented Generation [53.504471079548]
  大規模言語モデルに対する検索拡張生成の影響を系統的に検討する。 我々は、RAGに必要な4つの基本能力で、異なる大規模言語モデルの性能を解析する。 RGB(Retrieval-Augmented Generation Benchmark)は、英語と中国語の両方でRAG評価を行うための新しいコーパスである。
  論文  参考訳（メタデータ） (2023-09-04T08:28:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。