論文の概要: Judging the Judges: A Collection of LLM-Generated Relevance Judgements

• arxiv url: http://arxiv.org/abs/2502.13908v1
• Date: Wed, 19 Feb 2025 17:40:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 13:57:54.582264
• Title: Judging the Judges: A Collection of LLM-Generated Relevance Judgements
• Title（参考訳）: 審判員の判断: LLM生成関連判決集
• Authors: Hossein A. Rahmani, Clemencia Siro, Mohammad Aliannejadi, Nick Craswell, Charles L. A. Clarke, Guglielmo Faggioli, Bhaskar Mitra, Paul Thomas, Emine Yilmaz,
• Abstract要約: 本稿では,SIGIR 2024におけるLLMJudgeの大規模自動妥当性評価の結果をベンチマークし,報告する。 8つの国際チームが作成したTREC 2023ディープラーニングトラック関連判定のラベルを42 LLMで作成し、ベンチマークする。
• 参考スコア（独自算出の注目度）: 37.103230004631996
• License:
• Abstract: Using Large Language Models (LLMs) for relevance assessments offers promising opportunities to improve Information Retrieval (IR), Natural Language Processing (NLP), and related fields. Indeed, LLMs hold the promise of allowing IR experimenters to build evaluation collections with a fraction of the manual human labor currently required. This could help with fresh topics on which there is still limited knowledge and could mitigate the challenges of evaluating ranking systems in low-resource scenarios, where it is challenging to find human annotators. Given the fast-paced recent developments in the domain, many questions concerning LLMs as assessors are yet to be answered. Among the aspects that require further investigation, we can list the impact of various components in a relevance judgment generation pipeline, such as the prompt used or the LLM chosen. This paper benchmarks and reports on the results of a large-scale automatic relevance judgment evaluation, the LLMJudge challenge at SIGIR 2024, where different relevance assessment approaches were proposed. In detail, we release and benchmark 42 LLM-generated labels of the TREC 2023 Deep Learning track relevance judgments produced by eight international teams who participated in the challenge. Given their diverse nature, these automatically generated relevance judgments can help the community not only investigate systematic biases caused by LLMs but also explore the effectiveness of ensemble models, analyze the trade-offs between different models and human assessors, and advance methodologies for improving automated evaluation techniques. The released resource is available at the following link: https://llm4eval.github.io/LLMJudge-benchmark/
• Abstract（参考訳）: 関連性評価にLarge Language Models(LLM)を使用することで、情報検索(IR)、自然言語処理(NLP)、および関連分野を改善するための有望な機会を提供する。 実際、LLMはIR実験者が現在必要とされる手作業のごく一部で評価コレクションを作成できるという約束を持っている。 これは、まだ知識が限られている新しいトピックに役立ち、低リソースのシナリオでランキングシステムを評価する際の課題を軽減するのに役立つだろう。 この分野の急速な進展を踏まえると、評価者としてのLSMに関する多くの疑問は、まだ答えられていない。 さらなる調査を必要とする側面のうち、使用するプロンプトやLLMの選択など、関連判断生成パイプラインにおける様々なコンポーネントの影響をリストアップすることができる。 本稿では,SIGIR 2024におけるLLMJudgeの大規模自動関連評価評価の結果をベンチマークし,報告する。 我々は,この挑戦に参加した8つの国際チームが作成したTREC 2023ディープラーニングトラック関連判定のラベルを42 LLMで作成し,ベンチマークした。 それらの多様な性質から、これらの自動的妥当性判定は、LCMによる系統的バイアスだけでなく、アンサンブルモデルの有効性の調査、異なるモデルと人的評価者間のトレードオフの分析、自動評価技術の改善のための手法の進歩に役立つ。 リリースされたリソースは以下のリンクで入手できる。

関連論文リスト

• Potential and Perils of Large Language Models as Judges of Unstructured Textual Data [0.631976908971572]
  本研究では,LLM-as-judgeモデルの有効性を検討した。 LLM-as-judgeは、人間に匹敵するスケーラブルなソリューションを提供するが、人間は微妙で文脈固有のニュアンスを検出するのに優れている。
  論文  参考訳（メタデータ） (2025-01-14T14:49:14Z)
• From Generation to Judgment: Opportunities and Challenges of LLM-as-a-judge [32.55871325700294]
  人工知能(AI)と自然言語処理(NLP)において、長い間、評価と評価が重要な課題であった。 大規模言語モデル(LLM)の最近の進歩は"LLM-as-a-judge"パラダイムを刺激している。
  論文  参考訳（メタデータ） (2024-11-25T17:28:44Z)
• On the Statistical Significance with Relevance Assessments of Large Language Models [2.9180406633632523]
  我々は,文書の関連性をラベル付けするために大規模言語モデルを使用し,新しい検索テストコレクションを構築する。 以上の結果から, LLM判定は有意差の大部分を検出できる一方で, 許容数の偽陽性を維持していることが明らかとなった。 本研究は, LLM判定による統計的試験結果の評価における一歩である。
  論文  参考訳（メタデータ） (2024-11-20T11:19:35Z)
• A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look [52.114284476700874]
  本稿では,4つの異なる関連性評価手法が展開された大規模評価(TREC 2024 RAG Track)の結果について報告する。 自動生成UMBRELA判定は、完全に手動による判断を置き換えて、実行レベルの有効性を正確に捉えることができる。 意外なことに、LLMアシストは完全な手作業による評価と相関を増さないようで、人間のループプロセスに関連するコストは明らかな有意義な利益をもたらすものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-11-13T01:12:35Z)
• Evaluating the Evaluator: Measuring LLMs' Adherence to Task Evaluation Instructions [18.93335792080899]
  LLMs-as-a-judgeがAI判断と人間の判断の整合性に与える影響について検討する。 我々は、LLMによる最先端評価で一般的に使用される品質基準の分類を集約し、それを審査員として厳密なモデルベンチマークとして提供する。
  論文  参考訳（メタデータ） (2024-08-16T14:49:35Z)
• LLMs instead of Human Judges? A Large Scale Empirical Study across 20 NLP Evaluation Tasks [106.09361690937618]
  人間の判断の代わりにLPMを用いてNLPモデルを評価する傾向が高まっている。 JUDGE-BENCHは20個のNLPデータセットのコレクションで、人間のアノテーションで、幅広い評価された特性やデータの種類をカバーしています。 アノテーションを複製できるため、オープンウェイトモデルとプロプライエタリモデルの両方をカバーする11の現在のLCMを評価します。
  論文  参考訳（メタデータ） (2024-06-26T14:56:13Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• Large Language Models are Not Yet Human-Level Evaluators for Abstractive Summarization [66.08074487429477]
  抽象的な要約のための自動評価器として,大規模言語モデル(LLM)の安定性と信頼性について検討する。 また、ChatGPTとGPT-4は、一般的に使われている自動測定値よりも優れていますが、人間の代替品として準備ができていません。
  論文  参考訳（メタデータ） (2023-05-22T14:58:13Z)
• Perspectives on Large Language Models for Relevance Judgment [56.935731584323996]
  大型言語モデル(LLM)は、関連判断を支援することができると主張している。 自動判定が検索システムの評価に確実に利用できるかどうかは不明である。
  論文  参考訳（メタデータ） (2023-04-13T13:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。