論文の概要: GroUSE: A Benchmark to Evaluate Evaluators in Grounded Question Answering

• arxiv url: http://arxiv.org/abs/2409.06595v1
• Date: Tue, 10 Sep 2024 15:39:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-11 16:59:09.654428
• Title: GroUSE: A Benchmark to Evaluate Evaluators in Grounded Question Answering
• Title（参考訳）: Grouse: 根拠のある質問回答における評価者の評価ベンチマーク
• Authors: Sacha Muller, António Loison, Bilel Omrani, Gautier Viaud,
• Abstract要約: Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) をプライベートおよび最新の知識ベースと共に使用する共通のパラダイムとして登場した。 本稿では,RAG システムによって生成される接地回答を評価する際に LLM-as-a-Judge を用いる際の課題に対処する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) has emerged as a common paradigm to use Large Language Models (LLMs) alongside private and up-to-date knowledge bases. In this work, we address the challenges of using LLM-as-a-Judge when evaluating grounded answers generated by RAG systems. To assess the calibration and discrimination capabilities of judge models, we identify 7 generator failure modes and introduce GroUSE (Grounded QA Unitary Scoring of Evaluators), a meta-evaluation benchmark of 144 unit tests. This benchmark reveals that existing automated RAG evaluation frameworks often overlook important failure modes, even when using GPT-4 as a judge. To improve on the current design of automated RAG evaluation frameworks, we propose a novel pipeline and find that while closed models perform well on GroUSE, state-of-the-art open-source judges do not generalize to our proposed criteria, despite strong correlation with GPT-4's judgement. Our findings suggest that correlation with GPT-4 is an incomplete proxy for the practical performance of judge models and should be supplemented with evaluations on unit tests for precise failure mode detection. We further show that finetuning Llama-3 on GPT-4's reasoning traces significantly boosts its evaluation capabilities, improving upon both correlation with GPT-4's evaluations and calibration on reference situations.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) をプライベートおよび最新の知識ベースと共に使用する共通のパラダイムとして登場した。 本研究は,RAGシステムによって生成される接地された回答を評価する際に,LLM-as-a-Judgeを使用する際の課題に対処する。 判定モデルのキャリブレーションと識別能力を評価するため、7つのジェネレータ故障モードを特定し、144の単体テストのメタ評価ベンチマークであるGroUSE(Grounded QA Unitary Scoring of Evaluators)を導入する。 このベンチマークによると、既存の自動RAG評価フレームワークは、GPT-4を審査員として使用しても、重要な障害モードを見落としていることが多い。 自動RAG評価フレームワークの現在の設計を改善するために,新しいパイプラインを提案し,GroUSE上でクローズドモデルが良好に動作するのに対して,GPT-4の判断と強い相関があるにもかかわらず,最先端のオープンソース審査員は提案基準を一般化しないことがわかった。 以上の結果から, GPT-4との相関は, 判定モデルの実用的性能に不完全なプロキシであり, 正確な故障モード検出のための単体テストの評価を補足すべきであることが示唆された。 さらに, GPT-4の推理トレースにおけるLlama-3の微調整は, GPT-4の評価値と基準条件の校正値との相関性を向上し, 評価能力を大幅に向上させることを示した。

関連論文リスト

• Language Model Preference Evaluation with Multiple Weak Evaluators [78.53743237977677]
  GED(Preference Graph Ensemble and Denoise)は、複数のモデルベースの評価器を活用して嗜好グラフを構築する新しいアプローチである。 GEDは,モデルランキング,応答選択,モデルアライメントタスクにおいて,ベースライン手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-14T01:57:25Z)
• RAGChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation [61.14660526363607]
  本稿では,検索モジュールと生成モジュールの両方に対して,一連の診断指標を組み込んだ詳細な評価フレームワークであるRAGCheckerを提案する。 RAGCheckerは、他の評価指標よりも、人間の判断との相関が著しく優れている。 RAGCheckerのメトリクスは、より効果的なRAGシステムの開発において研究者や実践者を導くことができる。
  論文  参考訳（メタデータ） (2024-08-15T10:20:54Z)
• RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs [60.38044044203333]
  大規模言語モデル(LLM)は、通常、検索拡張生成(RAG)において、レトリバーからトップkコンテキストを利用する。 本稿では,RAGにおける文脈ランク付けと回答生成の両目的のために,単一のLLMをチューニング可能な新しい命令微調整フレームワークであるRanRAGを提案する。 例えば、GPT-4-0613, GPT-4-turbo-2024-0409, ChatQA-1.5, RAGベンチマークの最先端性能を備えたオープンソースモデルなどである。
  論文  参考訳（メタデータ） (2024-07-02T17:59:17Z)
• An Empirical Study of LLM-as-a-Judge for LLM Evaluation: Fine-tuned Judge Model is not a General Substitute for GPT-4 [29.93673872618022]
  微調整の審査モデルは、GPT-4と同等の評価能力を発揮すると主張されている。 本稿では,GPT-4を利用して,制約を補償し,微調整による判断を改善する手法を提案する。 実験の結果,APIコストの50%に過ぎず,GPT-4と同等の精度が得られた。
  論文  参考訳（メタデータ） (2024-03-05T10:20:52Z)
• ChatQA: Surpassing GPT-4 on Conversational QA and RAG [43.34692996785167]
  検索強化世代(RAG)と会話型質問応答(QA)においてGPT-4より優れたモデル群であるChatQAを紹介する。 効率的な検索のために,対話型QAに最適化された高密度検索手法を導入する。 提案するChatRAG Benchは、RAG、テーブル関連QA、算術計算、および解決不可能な質問を含むシナリオに関する総合的な評価を含む10のデータセットを含む。
  論文  参考訳（メタデータ） (2024-01-18T18:59:11Z)
• CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
  Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。 CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
  論文  参考訳（メタデータ） (2023-11-30T16:52:42Z)
• Evaluation Metrics in the Era of GPT-4: Reliably Evaluating Large Language Models on Sequence to Sequence Tasks [9.801767683867125]
  我々は,3つのNLPベンチマークの予備的およびハイブリッドな評価を,自動評価と人的評価の両方を用いて提供する。 ChatGPTは、ほとんどのメトリクスにおいて、人間のレビュアーによって、他の人気のあるモデルよりも一貫して優れています。 また、人間のレビュアーは、最高のモデルの出力よりも金の基準を格段に悪く評価し、多くの人気のあるベンチマークの品質が劣っていることを示している。
  論文  参考訳（メタデータ） (2023-10-20T20:17:09Z)
• Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings [63.35165397320137]
  本研究では,OpenAI の GPT-4 によるフィードバック評価の整合性について検討した。 このモデルは、マクロ経済学の上級教育分野における課題に対する回答を、内容とスタイルの観点から評価した。
  論文  参考訳（メタデータ） (2023-08-03T12:47:17Z)
• ARB: Advanced Reasoning Benchmark for Large Language Models [94.37521840642141]
  複数の分野における先進的推論問題からなる新しいベンチマークであるABBを紹介する。 ARBのサブセットとして、高度なシンボリック推論とドメイン知識を必要とする数学と物理学の問題を紹介する。 我々は, GPT-4 や Claude on ARB などの最近のモデルを評価し, より要求の高いタスクにおいて, 現在のモデルが50%以下であることを示す。
  論文  参考訳（メタデータ） (2023-07-25T17:55:19Z)
• Analyzing the Performance of GPT-3.5 and GPT-4 in Grammatical Error Correction [28.58384091374763]
  GPT-3とGPT-4モデルは強力で、様々な自然言語処理タスクで高い性能を発揮する。 GPT-3.5 モデル (text-davinci-003) と GPT-4 モデル (gpt-4-0314) の機能を GEC ベンチマークで検証した。 BEA-2019およびJFLEGデータセットにおける最良プロンプトの性能について報告する。
  論文  参考訳（メタデータ） (2023-03-25T03:08:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。