論文の概要: Benchmarking LLM-based Relevance Judgment Methods

• arxiv url: http://arxiv.org/abs/2504.12558v1
• Date: Thu, 17 Apr 2025 01:13:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:38:04.976387
• Title: Benchmarking LLM-based Relevance Judgment Methods
• Title（参考訳）: LLMに基づく関連判断手法のベンチマーク
• Authors: Negar Arabzadeh, Charles L. A. Clarke,
• Abstract要約: 大規模言語モデル(LLM)は、学術的、産業的にもますます多くデプロイされている。 我々は,2値関係判定,次級関係評価,相互選好に基づく手法,および2つのナゲットに基づく評価方法など,複数のLCMに基づく関連性評価手法を体系的に比較した。 データリリースには、オープンソース(Llama3.2b)と商用(gpt-4o)モデルの両方で生成された関連判断が含まれています。
• 参考スコア（独自算出の注目度）: 15.255877686845773
• License:
• Abstract: Large Language Models (LLMs) are increasingly deployed in both academic and industry settings to automate the evaluation of information seeking systems, particularly by generating graded relevance judgments. Previous work on LLM-based relevance assessment has primarily focused on replicating graded human relevance judgments through various prompting strategies. However, there has been limited exploration of alternative assessment methods or comprehensive comparative studies. In this paper, we systematically compare multiple LLM-based relevance assessment methods, including binary relevance judgments, graded relevance assessments, pairwise preference-based methods, and two nugget-based evaluation methods~--~document-agnostic and document-dependent. In addition to a traditional comparison based on system rankings using Kendall correlations, we also examine how well LLM judgments align with human preferences, as inferred from relevance grades. We conduct extensive experiments on datasets from three TREC Deep Learning tracks 2019, 2020 and 2021 as well as the ANTIQUE dataset, which focuses on non-factoid open-domain question answering. As part of our data release, we include relevance judgments generated by both an open-source (Llama3.2b) and a commercial (gpt-4o) model. Our goal is to \textit{reproduce} various LLM-based relevance judgment methods to provide a comprehensive comparison. All code, data, and resources are publicly available in our GitHub Repository at https://github.com/Narabzad/llm-relevance-judgement-comparison.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、情報探索システムの評価を自動化するため、学術的・産業的にますます普及している。 LLMに基づく関連性評価に関するこれまでの研究は、主に様々なプロンプト戦略を通じて、段階的な人間関連性判断を複製することに焦点を当ててきた。 しかし、代替評価方法や総合的な比較研究は限られている。 本稿では, 2値関係判定, 次数関係評価, ペアの選好に基づく手法, および文書に依存しない2つのヌゲットに基づく評価手法を含む複数のLCMに基づく関連性評価手法を系統的に比較する。 また,Kendall相関を用いたシステムランキングに基づく従来の比較に加えて,LLM判定が人間の嗜好とどのように一致しているかを,関連度から推定した。 我々は,3つのTRECディープラーニングトラック2019,2020,2021のデータセットと,非ファクトイドなオープンドメイン質問応答に焦点を当てたAntiQUEデータセットの広範な実験を行った。 データリリースには、オープンソース(Llama3.2b)と商用(gpt-4o)モデルの両方で生成された関連判断が含まれています。 我々のゴールは、総合的な比較を提供するために、様々な LLM に基づく関連判定手法を \textit{reproduce} にすることである。 すべてのコード、データ、リソースはGitHub Repositoryでhttps://github.com/Narabzad/llm-relevance-judgement-comparisonで公開されています。

関連論文リスト

• Preference Leakage: A Contamination Problem in LLM-as-a-judge [69.96778498636071]
  審査員としてのLLM(Large Language Models)とLLMに基づくデータ合成は、2つの基本的なLLM駆動型データアノテーション法として登場した。 本研究では, 合成データ生成器とLCMに基づく評価器の関連性に起因するLCM-as-a-judgeの汚染問題である選好リークを明らかにする。
  論文  参考訳（メタデータ） (2025-02-03T17:13:03Z)
• Limitations of Automatic Relevance Assessments with Large Language Models for Fair and Reliable Retrieval Evaluation [2.9180406633632523]
  大規模言語モデル(LLM)は,自動関連性評価ツールとして注目されている。 近年の研究では、LLMに基づく評価が、人為的判断と高いシステムランキングの相関をもたらすことが示されている。 我々は,LLMによる判断が,上位評価システム間の順位差をいかに保っているか,また,人間の判断として相互に重要な評価を保っているかを検討する。
  論文  参考訳（メタデータ） (2024-11-20T11:19:35Z)
• Ranking Unraveled: Recipes for LLM Rankings in Head-to-Head AI Combat [7.8905223445925055]
  大規模言語モデル(LLM)に対する人間の嗜好を評価する新しい方法として、ペアワイズランキングが登場した。 LLMの前後比較におけるランキングシステムの有効性について検討する。 我々の分析は、ランキングの精度と効率に影響を与える要因について重要な洞察を見出している。
  論文  参考訳（メタデータ） (2024-11-19T20:16:26Z)
• A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look [52.114284476700874]
  本稿では,4つの異なる関連性評価手法が展開された大規模評価(TREC 2024 RAG Track)の結果について報告する。 自動生成UMBRELA判定は、完全に手動による判断を置き換えて、実行レベルの有効性を正確に捉えることができる。 意外なことに、LLMアシストは完全な手作業による評価と相関を増さないようで、人間のループプロセスに関連するコストは明らかな有意義な利益をもたらすものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-11-13T01:12:35Z)
• Best in Tau@LLMJudge: Criteria-Based Relevance Evaluation with Llama3 [5.478764356647438]
  そこで本稿では,大規模言語モデル (LLM) を付加する代替手法を提案する。 基準レベルのグレードを関連ラベルに集約する様々な方法を検討する。 2024年夏に発生した LLMJudge Challenge のデータをもとに,我々のアプローチを実証的に評価する。
  論文  参考訳（メタデータ） (2024-10-17T21:37:08Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators [48.54465599914978]
  大規模言語モデル(LLM)は、生成された自然言語の品質を評価するための自動評価器として有望な能力を示した。 LLMは依然として評価のバイアスを示しており、人間の評価と整合したコヒーレントな評価を生成するのに苦労することが多い。 Pairwise-preference Search (PAIRS) は、LLMを用いた不確実性誘導検索に基づくランクアグリゲーション手法で、局所的にペアワイズ比較を行い、グローバルに候補テキストを効率よくランク付けする。
  論文  参考訳（メタデータ） (2024-03-25T17:11:28Z)
• FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
  FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。 モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
  論文  参考訳（メタデータ） (2023-07-20T14:56:35Z)
• PRD: Peer Rank and Discussion Improve Large Language Model based Evaluations [10.709365940160685]
  現代の大規模言語モデル(LLM)は、自動評価と比較が難しい。 本稿では,全ての解答対に対するLLMのペアワイズ選好を考慮に入れたピアランク(PR)アルゴリズムを提案する。 我々のアプローチは高い精度を実現し、人間の判断とよく一致していることがわかりました。
  論文  参考訳（メタデータ） (2023-07-06T04:05:44Z)
• Perspectives on Large Language Models for Relevance Judgment [56.935731584323996]
  大型言語モデル(LLM)は、関連判断を支援することができると主張している。 自動判定が検索システムの評価に確実に利用できるかどうかは不明である。
  論文  参考訳（メタデータ） (2023-04-13T13:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。