論文の概要: When Consistency Does Not Mean Reliability: Evaluating Local LLM Judges Against Human Ratings

• arxiv url: http://arxiv.org/abs/2609.13824v1
• Date: Sat, 12 Sep 2026 09:15:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.562172
• Title: When Consistency Does Not Mean Reliability: Evaluating Local LLM Judges Against Human Ratings
• Title（参考訳）: 一貫性が信頼性を損なう場合--LLM判事の人間格付けに対する評価
• Abstract要約: 大規模言語モデル (LLMs) は、他の言語モデルの応答を評価するために使われることが多い。 GPT-2(124M)モデルで生成した300の応答を,5つのカテゴリをカバーする100の質問に対して評価した。 我々は、ピアソン相関、スピアマン相関、平均絶対誤差(MAE)、符号付きバイアス、自己整合性を用いて、判定スコアを平均人間のスコアと比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are increasingly used to evaluate the responses of other language models. This approach, known as LLM-as-a-Judge, is faster and cheaper than human evaluation. However, a judge may produce consistent scores without necessarily agreeing with human evaluators. In this work, we study this issue using two local open-weight LLM judges, LLaMA-3-8B and Qwen2.5-7B. We evaluate 300 responses generated by an instruction-tuned GPT-2 (124M) model for 100 questions covering five categories: factual knowledge, instruction following, mathematics, reasoning, and writing. Each response is scored by nine human annotators and is evaluated three times by each LLM judge using the same rubric. We compare the judge scores with the average human scores using Pearson correlation, Spearman correlation, mean absolute error (MAE), signed bias, and self-consistency. LLaMA-3-8B shows a Pearson correlation of 0.275 with human scores, while Qwen2.5-7B achieves 0.340. Their MAEs are 27.71 and 18.64, respectively. Despite this limited agreement, both judges show high self-consistency, with exact consistency rates of 97.3\% for LLaMA-3-8B and 92.3\% for Qwen2.5-7B. These results show that high self-consistency does not necessarily indicate high agreement with human judgments. Our findings highlight the need to evaluate both consistency and human alignment when using local LLMs as automatic judges.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は、他の言語モデルの応答を評価するために使われることが多い。 LLM-as-a-Judgeとして知られるこのアプローチは、人間の評価よりも高速で安価である。 しかし、審査員は、必ずしも人間の評価者と一致せずに、一貫したスコアを生成できる。 本研究では,LLaMA-3-8B と Qwen2.5-7B の2つのローカルオープンウェイト LLM 判定器を用いてこの問題について検討する。 GPT-2 (124M) モデルで生成した300の応答を, 事実知識, 指示追従, 数学, 推論, 文章の5つのカテゴリをカバーする100の質問に対して評価した。 それぞれの応答は9人のアノテータによって測定され、同じルーブリックを用いて各LSM判事によって3回評価される。 我々は、ピアソン相関、スピアマン相関、平均絶対誤差(MAE)、符号付きバイアス、自己整合性を用いて、判定スコアを平均人間のスコアと比較した。 LLaMA-3-8Bのピアソン相関は0.275であり、Qwen2.5-7Bは0.340である。 彼らはそれぞれ27.71と18.64である。 この制限された合意にもかかわらず、両判事は高い自己整合性を示し、LLaMA-3-8Bは97.3\%、Qwen2.5-7Bは92.3\%である。 これらの結果は、高い自己整合性は必ずしも人間の判断と高い一致を示さないことを示している。 本研究は, 局所LLMを自動判断器として用いる場合, 整合性, 人的整合性の両方を評価する必要性を強調した。

関連論文リスト

• Beyond Accuracy: A Dual-Judge Evaluation Protocol for Vision-Language Models in Legally Grounded Tasks [1.2555090617748867]
  我々は、標準の0-10品質判断と厳密な二項意味等価判定とを、人為的な基準に対して組み合わせた二重判断プロトコルを寄贈する。 我々は、制御された視覚的基盤を持つ規制課題について研究し、その意味は、すべての入力に対して既知の参照を持つコーデレートされた質問である。
  論文  参考訳（メタデータ） (2026-08-25T08:49:46Z)
• Do You Need a Frontier Model as a Citation Verifier? Benchmarking Rubric LLMs for Deep-Research Source Attribution [0.0]
  ディープリサーチシステムにおける励磁品質の校正問題について検討する。 LLM審査員8名に対し、1248件の粗悪な判断を下し、金のラベルに異議を唱えた。 以上の結果から,このキャリブレーションは最も高価なモデルを必要としないことがわかった。
  論文  参考訳（メタデータ） (2026-07-09T17:01:40Z)
• Argument Quality Assessment with Large Language Models: A Pairwise Bradley-Terry Approach [3.0068578527945866]
  大規模言語モデル(LLM)は、推論や判断に関連するタスクにおいて顕著な能力を示した。 ゼロショット, 少数ショット, チェーン・オブ・ソートで, 異なるサイズと家族のオープンウェイトLLMを12個試験した。 我々の知見は、LLMは有望ではあるが、人間の専門家による判断と適度に相関していることを示している。
  論文  参考訳（メタデータ） (2026-05-27T11:14:37Z)
• Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
  わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。 選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。 これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
  論文  参考訳（メタデータ） (2026-04-20T00:57:31Z)
• Judge's Verdict: A Comprehensive Analysis of LLM Judge Capability Through Human Agreement [1.5191981795942073]
  本研究では,Large Language Models (LLMs) を応答精度評価タスクの判定対象として,新たな2段階評価手法を提案する。 RAG(Retrieval-Augmented Generation)やAgentic Pipelines(Agentic Pipelines)からの応答を、地上の真実の答えに対して評価すると、54個のLLMが人間の判断をいかにうまく再現できるかを評価する。
  論文  参考訳（メタデータ） (2025-10-10T17:27:33Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Quantitative LLM Judges [60.773734899532336]
  本研究では,既存のLLM審査員の評価スコアを,与えられた領域内の人間と一致させる定量的LLM審査員を提案する。 モデルは、その合理性とスコアを使用して、元の審査員のスコアを改善するために訓練される。 実験の結果, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を向上できることがわかった。
  論文  参考訳（メタデータ） (2025-06-03T14:44:23Z)
• Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators [66.83088028268318]
  本稿では,テスト時間スケーリングベンチマークの判定評価について紹介する。 3つのタスク設定の下で、3つのドメイン(推論、コード生成、命令従)での判定性能を評価する。 我々のベンチマークは、審査員が再評価において結果報酬モデルと競合する一方で、ビームサーチにおけるプロセス報酬モデルよりも一貫して悪いことを示している。
  論文  参考訳（メタデータ） (2025-04-21T17:33:23Z)
• GLIDER: Grading LLM Interactions and Decisions using Explainable Ranking [0.9614204956530676]
  我々は,任意のユーザ定義基準に基づいて任意のテキスト入力および関連するコンテキストをスコアできる,強力な3B評価用LLMであるGLIDERを紹介する。 GLIDERは、FLASK上のGPT-4oよりもピアソンの相関が高く、事前評価モデルよりも大幅に優れていた。 きめ細かいスコア付け、多言語推論、強調表示をサポートし、685のドメインと183の基準でトレーニングされた。
  論文  参考訳（メタデータ） (2024-12-18T18:41:12Z)
• Judging the Judges: Evaluating Alignment and Vulnerabilities in LLMs-as-Judges [6.609843448260634]
  LLM-as-a-judgeパラダイムは,大規模言語モデルを評価するアプローチとして急速に普及している。 本稿では,人間間の合意が高いクリーンなシナリオに焦点を当てる。 我々は、複雑性や長さを早めるための感度や、寛大さへの傾向など、審査モデルの脆弱性を識別する。
  論文  参考訳（メタデータ） (2024-06-18T13:49:54Z)
• A Closer Look into Automatic Evaluation Using Large Language Models [75.49360351036773]
  評価プロセスの細部が、LLMが与える評価と人間の評価との相関性をどのように変化させるかについて議論する。 G-Evalで使用されるAuto Chain-of-Thought (CoT)は、必ずしもG-Evalを人間の評価に適合させるものではない。 また、LLMにG-Evalのように、数値評価のみを出力させることが、最適以下であることも示している。
  論文  参考訳（メタデータ） (2023-10-09T12:12:55Z)
• Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena [76.21004582932268]
  本研究では, LLM-as-a-judgeの使用状況と限界について検討し, 位置, 冗長性, 自己改善バイアスについて検討した。 次に、マルチターン質問セットであるMT-benchとクラウドソースのバトルプラットフォームであるArenaの2つのベンチマークを導入することで、LCMの判断と人間の嗜好の一致を検証する。
  論文  参考訳（メタデータ） (2023-06-09T05:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。