論文の概要: Evaluating Quality of Answers for Retrieval-Augmented Generation: A Strong LLM Is All You Need

• arxiv url: http://arxiv.org/abs/2406.18064v2
• Date: Fri, 5 Jul 2024 09:46:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-08 22:24:52.563525
• Title: Evaluating Quality of Answers for Retrieval-Augmented Generation: A Strong LLM Is All You Need
• Title（参考訳）: 検索・拡張世代に対する回答の質評価:強力なLLMがすべて必要である
• Authors: Yang Wang, Alberto Garcia Hernandez, Roman Kyslyi, Nicholas Kersting,
• Abstract要約: 本稿では,vRAG-Evalを用いた検索・拡張生成(RAG)アプリケーションにおける回答品質評価の総合的研究について述べる。 品質面の階調をバイナリスコアにマッピングし、受け入れまたは拒否の決定を示す。 このアプローチは、明確な意思決定の意見が不可欠である現実的なビジネス設定に適合します。
• 参考スコア（独自算出の注目度）: 3.3624592634336814
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a comprehensive study of answer quality evaluation in Retrieval-Augmented Generation (RAG) applications using vRAG-Eval, a novel grading system that is designed to assess correctness, completeness, and honesty. We further map the grading of quality aspects aforementioned into a binary score, indicating an accept or reject decision, mirroring the intuitive "thumbs-up" or "thumbs-down" gesture commonly used in chat applications. This approach suits factual business settings where a clear decision opinion is essential. Our assessment applies vRAG-Eval to two Large Language Models (LLMs), evaluating the quality of answers generated by a vanilla RAG application. We compare these evaluations with human expert judgments and find a substantial alignment between GPT-4's assessments and those of human experts, reaching 83% agreement on accept or reject decisions. This study highlights the potential of LLMs as reliable evaluators in closed-domain, closed-ended settings, particularly when human evaluations require significant resources.
• Abstract（参考訳）: 本稿では, 精度, 完全性, 誠実さを評価できる新しいグレーディングシステムであるvRAG-Evalを用いた検索・拡張生成(RAG)アプリケーションにおける応答品質評価の総合的研究について述べる。 さらに、上記の品質面の階調をバイナリスコアにマッピングし、チャットアプリケーションで一般的に使用される直感的な"thumbs-up"や"thumbs-down"のジェスチャーを反映して、受け入れまたは拒否の決定を示す。 このアプローチは、明確な意思決定の意見が不可欠である現実的なビジネス設定に適合します。 我々の評価は2つの大言語モデル(LLM)にvRAG-Evalを適用し、バニラRAGアプリケーションによって生成される回答の質を評価する。 これらの評価を人的専門家の判断と比較し、GPT-4の評価と人的専門家の判断とを実質的に一致させ、決定を受諾または拒否することに関して83%の合意に達した。 本研究は, 閉領域, 閉領域設定における信頼性評価器としてのLCMの可能性, 特に人的評価が重要な資源を必要とする場合について述べる。

関連論文リスト

• Accurate and Nuanced Open-QA Evaluation Through Textual Entailment [4.762213968673381]
  本稿では,より情報的かつ汎用的な解答を識別するために,解答の包含関係について検討する。 提案するエンテーメントに基づく評価では,回答間の推論ギャップを定量化することにより,ボーナスや部分マークの割り当てが可能である。
  論文  参考訳（メタデータ） (2024-05-26T21:33:27Z)
• Prometheus 2: An Open Source Language Model Specialized in Evaluating Other Language Models [92.66784679667441]
  プロメテウス2は、人間とGPT-4の判断を密接に反映するより強力な評価器である。 ユーザ定義評価基準でグループ化された、直接評価とペアのランキングフォーマットの両方を処理できる。 4つの直接評価ベンチマークと4つのペアのランキングベンチマークで、Prometheus 2は人間と独自のLM判事との相関と合意を最も高く評価している。
  論文  参考訳（メタデータ） (2024-05-02T17:59:35Z)
• Style Over Substance: Evaluation Biases for Large Language Models [17.13064447978519]
  本研究では,大規模言語モデル(LLM)とともに,クラウドソースおよびエキスパートアノテータの挙動について検討する。 この結果から, 事実的誤りに対する回答は, 短すぎる, 文法的誤りを含む回答よりも好意的に評価され, 評価過程の偏りが示唆された。 評価面を1つのスコアにマージするのではなく,複数の次元にまたがるマシン生成テキストを独立に評価することを提案する。
  論文  参考訳（メタデータ） (2023-07-06T14:42:01Z)
• A Critical Evaluation of Evaluations for Long-form Question Answering [48.51361567469683]
  LFQA(Long-form Question answering)は、幅広い質問に答えることができるが、その柔軟性は評価に大きな課題をもたらす。 本研究は,人的・自動的な評価の実践を網羅した,長文回答の評価を初めて対象とした研究である。
  論文  参考訳（メタデータ） (2023-05-29T16:54:24Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)
• Evaluate What You Can't Evaluate: Unassessable Quality for Generated Response [56.25966921370483]
  大規模な言語モデルに基づく参照不要評価器の使用には課題がある。 参照なし評価器は、異なるセマンティクス応答を持つオープンな例により適している。 対話応答の質を評価するため, LLM に基づく推論不要評価器の使用にはリスクがある。
  論文  参考訳（メタデータ） (2023-05-24T02:52:48Z)
• Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation [136.16507050034755]
  要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。 細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。 ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
  論文  参考訳（メタデータ） (2022-12-15T17:26:05Z)
• Consultation Checklists: Standardising the Human Evaluation of Medical Note Generation [58.54483567073125]
  本稿では,コンサルテーションチェックリストの評価を基礎として,客観性向上を目的としたプロトコルを提案する。 このプロトコルを用いた最初の評価研究において,アノテータ間合意の良好なレベルを観察した。
  論文  参考訳（メタデータ） (2022-11-17T10:54:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。