論文の概要: JuStRank: Benchmarking LLM Judges for System Ranking

• arxiv url: http://arxiv.org/abs/2412.09569v1
• Date: Thu, 12 Dec 2024 18:51:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-13 13:34:43.213034
• Title: JuStRank: Benchmarking LLM Judges for System Ranking
• Title（参考訳）: JuStRank: LLM審査員のシステムランキングのベンチマーク
• Authors: Ariel Gera, Odellia Boni, Yotam Perlitz, Roy Bar-Haim, Lilach Eden, Asaf Yehudai,
• Abstract要約: 我々はLLM審査員をシステムランクラーとして大規模に調査した。 システムスコアは、複数のシステム出力に対して判定スコアを集約することで生成される。 我々の分析は、判断力や偏見を含む判断行動のきめ細かい特徴を提供する。
• 参考スコア（独自算出の注目度）: 7.507819077549208
• License:
• Abstract: Given the rapid progress of generative AI, there is a pressing need to systematically compare and choose between the numerous models and configurations available. The scale and versatility of such evaluations make the use of LLM-based judges a compelling solution for this challenge. Crucially, this approach requires first to validate the quality of the LLM judge itself. Previous work has focused on instance-based assessment of LLM judges, where a judge is evaluated over a set of responses, or response pairs, while being agnostic to their source systems. We argue that this setting overlooks critical factors affecting system-level ranking, such as a judge's positive or negative bias towards certain systems. To address this gap, we conduct the first large-scale study of LLM judges as system rankers. System scores are generated by aggregating judgment scores over multiple system outputs, and the judge's quality is assessed by comparing the resulting system ranking to a human-based ranking. Beyond overall judge assessment, our analysis provides a fine-grained characterization of judge behavior, including their decisiveness and bias.
• Abstract（参考訳）: 生成AIの急速な進歩を考えると、利用可能な多数のモデルと構成を体系的に比較し、選択する必要がある。 このような評価のスケールと汎用性は、LCMに基づく判断をこの課題に対する説得力のある解決策にしている。 重要なことに、このアプローチはまず、LCMの判断自体の品質を検証する必要がある。 これまでの研究は、LLM審査員のインスタンスベースの評価に重点を置いてきた。そこでは、審査員は、ソースシステムに非依存でありながら、一連の応答またはレスポンスペアに対して評価される。 この設定は、あるシステムに対する裁判官の肯定的あるいは否定的な偏見など、システムレベルランキングに影響を及ぼす重要な要因を見落としていると論じる。 このギャップに対処するため,LLM審査員をシステムランクラーとして大規模に調査した。 システムスコアは、複数のシステム出力に対して判定スコアを集約して生成し、その結果のシステムランキングを人間ベースのランキングと比較することにより、判断品質を評価する。 総合的な判断評価以外にも、我々の分析は判断力や偏見を含む判断行動のきめ細かい特徴を提供する。

関連論文リスト

• Re-evaluating Automatic LLM System Ranking for Alignment with Human Preference [63.03859517284341]
  自動評価フレームワークは、人間の嗜好との整合性に基づいてLLMをランク付けすることを目的としている。 自動LLMベンチラは、入力セット、評価モデル、評価タイプ、集約方法の4つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2024-12-31T17:46:51Z)
• HREF: Human Response-Guided Evaluation of Instruction Following in Language Models [61.273153125847166]
  我々は新しい評価ベンチマークHREF(Human Response-Guided Evaluation of Instruction following)を開発した。 HREFは信頼性の高い評価を提供するだけでなく、個々のタスクのパフォーマンスを強調し、汚染を受けない。 本稿では,評価セットのサイズ,判断モデル,ベースラインモデル,プロンプトテンプレートなど,HREFにおける鍵設計選択の影響について検討する。
  論文  参考訳（メタデータ） (2024-12-20T03:26:47Z)
• JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
  本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。 我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。 さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
  論文  参考訳（メタデータ） (2024-10-31T18:43:12Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• From Calculation to Adjudication: Examining LLM judges on Mathematical Reasoning Tasks [11.01213914485374]
  数学的推論タスクにおいて,大規模言語モデル (LLM) について検討する。 本分析により,判定性能と候補モデルタスク性能との間に強い相関関係が明らかになった。 本研究では,各モデルのタスク性能などの統計データを用いて,判定性能の予測を行うことが可能であることを示す。
  論文  参考訳（メタデータ） (2024-09-06T10:09:41Z)
• Evaluating the Evaluator: Measuring LLMs' Adherence to Task Evaluation Instructions [18.93335792080899]
  LLMs-as-a-judgeがAI判断と人間の判断の整合性に与える影響について検討する。 我々は、LLMによる最先端評価で一般的に使用される品質基準の分類を集約し、それを審査員として厳密なモデルベンチマークとして提供する。
  論文  参考訳（メタデータ） (2024-08-16T14:49:35Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [54.007823006976516]
  大規模言語モデル (LLM) を拡張性判断器 (JudgeLM) として微調整し, LLM を効率よく, かつ効率的に評価する手法を提案する。 まず, タスクシード, LLM 生成回答, GPT-4 生成判断を含む包括的, 大規模, 高品質なデータセットを提案する。 次に、微調整LDMにおける重要なバイアスを判断として分析し、位置バイアス、知識バイアス、フォーマットバイアスとみなす。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)
• Benchmarking Cognitive Biases in Large Language Models as Evaluators [16.845939677403287]
  大規模言語モデル(LLM)は、簡単なプロンプトと文脈内学習を備えた自動評価器として有効であることが示されている。 我々は,LLMの認知バイアスベンチマークを導入したランキングアウトプットの品質を評価対象として評価する。 LLMはテキスト品質評価器であり、バイアスベンチマークに強い指標を示す。
  論文  参考訳（メタデータ） (2023-09-29T06:53:10Z)
• Perspectives on Large Language Models for Relevance Judgment [56.935731584323996]
  大型言語モデル(LLM)は、関連判断を支援することができると主張している。 自動判定が検索システムの評価に確実に利用できるかどうかは不明である。
  論文  参考訳（メタデータ） (2023-04-13T13:08:38Z)
• Vote'n'Rank: Revision of Benchmarking with Social Choice Theory [7.224599819499157]
  本稿では,社会的選択論の原理に基づき,マルチタスクベンチマークにおけるシステムランキングの枠組みであるVote'n'Rankを提案する。 いくつかのMLサブフィールドにおいて,ベンチマークに関する新たな洞察を引き出すために,我々の手法を効率的に活用できることを実証する。
  論文  参考訳（メタデータ） (2022-10-11T20:19:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。