論文の概要: LLM Validation Makes Minimal-Pair Benchmarks Easier for Language Models
- arxiv url: http://arxiv.org/abs/2611.13788v2
- Date: Wed, 11 Nov 2026 06:36:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.90951
- Title: LLM Validation Makes Minimal-Pair Benchmarks Easier for Language Models
- Title(参考訳): LLM Validationは、最小ペアベンチマークを言語モデルに簡単にする
- Abstract要約: 最小ペアのベンチマークはラベルに匹敵する程度で、LCMは人為的な検証の代用として明らかです。
われわれは、BLiMPとQFrBLiMPでテストした。
- 参考スコア(独自算出の注目度): 0.9453554184019107
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Minimal-pair benchmarks are only as good as their labels, and LLMs are an obvious substitute for costly human validation. We test it on BLiMP (English) and QFrBLiMP (Quebec French), the two public minimal-pair datasets releasing every forced-choice human judgment. Three LLMs validate by forced choice, by rating, and as a panel, scored against human panels of one, three and five judges in two pre-registered phases. On BLiMP, forced-choice validators agree with held-out human majorities more often than five-judge panels, yet catch far fewer pairs whose label humans reject than one judge does. By point estimate, no validator is worth more than one judge. The errors are not random. On both datasets, across 10 open LMs, human-supported pairs that the pre-registered LLM filter flags are 18.9 points harder than those it accepts, in all 70 LM-validator combinations, and harder than pairs a single human judge flags. Filtering thus removes items on which LMs fail but humans do not, raising accuracy more than random removal. A protocol frozen before any output replicates the gap and the lift on Dutch BLiMP-NL. LLM validation makes minimal-pair benchmarks easier for the models they are meant to test; we release code, validator outputs and item-level scores.
- Abstract(参考訳): 最小ペアのベンチマークはラベルに匹敵する程度で、LCMは人為的な検証の代用として明らかです。
私たちは、BLiMP(英語)とQFrBLiMP(クエベックフランス語)でテストしました。
3つのLSMは、事前に登録された2つのフェーズにおいて、1、3、5人の審査員の人的パネルに対して評価、評価、パネルとして、強制的に評価される。
BLiMPでは、強制選択のバリデーションは、5つのジャッジパネルよりも頻繁にヒトの多数派に同意するが、ラベル人が拒否するペアは1人の裁判官よりもはるかに少ない。
点推定では、審査員は複数の審査員以上の価値はない。
エラーはランダムではありません。
どちらのデータセットも、10個のオープンLMにまたがって、登録済みのLDMフィルタフラグは、70個のLMバリケータの組み合わせにおいて、受け入れられているものよりも18.9ポイント、単一の人間の審査フラグよりも難しい。
したがってフィルタリングは、LMが失敗するアイテムを除去するが、人間がしないアイテムを除去し、ランダムな除去以上の精度を上げる。
出力の前に凍結されたプロトコルは、オランダのBLiMP-NL上のギャップとリフトを複製する。
LLM検証は、テスト対象のモデルに対して最小ペアのベンチマークを簡単にする。
関連論文リスト
- Same Outputs, Different Scores: Auditing the Unchecked Graders of Multimodal LLM Benchmarks [0.8594140167290097]
5つのオープンビジョン言語モデル上で8つのベンチマークの公式スコアを再現する。
我々は盲目の人間+LLM-judgeの判断を導入した。
ベンチマークでは、非準拠率と少なくとも2つのルールを報告すべきだ、と我々は主張する。
論文 参考訳(メタデータ) (2026-11-02T16:20:07Z) - Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。
要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
論文 参考訳(メタデータ) (2026-02-07T19:39:28Z) - Beyond Consensus: Mitigating the Agreeableness Bias in LLM Judge Evaluations [0.20027036140258694]
新しいLarge Language Models(LLM)が数週間毎に利用可能になる。
LLMは高い精度で有効な出力を識別できるが、無効な出力を識別する能力は極めて乏しい。
我々は、欠落データに対して回復力のある最適なマイノリティ・ベト戦略を導入し、このバイアスを広範囲に緩和する。
論文 参考訳(メタデータ) (2025-10-13T18:19:23Z) - REPA: Russian Error Types Annotation for Evaluating Text Generation and Judgment Capabilities [45.00513157371274]
我々は、ロシア語で大言語モデルを審査員として使用する枠組みを評価した。
人選好に基づく3つの評価システムを用いて, エラータイプ別に6つの生成LDMをランク付けする。
以上の結果から,LLM判定におけるロシア語と英語の差が顕著であった。
論文 参考訳(メタデータ) (2025-03-17T12:15:16Z) - Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena [76.21004582932268]
本研究では, LLM-as-a-judgeの使用状況と限界について検討し, 位置, 冗長性, 自己改善バイアスについて検討した。
次に、マルチターン質問セットであるMT-benchとクラウドソースのバトルプラットフォームであるArenaの2つのベンチマークを導入することで、LCMの判断と人間の嗜好の一致を検証する。
論文 参考訳(メタデータ) (2023-06-09T05:55:52Z) - LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。
ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。
最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
論文 参考訳(メタデータ) (2023-05-23T21:50:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。