論文の概要: Cheap, Consistent, Calibrated, but Biased? Typed Decision Models as Judges

• arxiv url: http://arxiv.org/abs/2610.18122v1
• Date: Tue, 13 Oct 2026 10:35:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 07:19:08.356946
• Title: Cheap, Consistent, Calibrated, but Biased? Typed Decision Models as Judges
• Title（参考訳）: 清潔で一貫性があり、校正されているが、偏見はあるか? 審査員としての型式決定モデル
• Abstract要約: 型決定モデル(TDM)は、テキストを生成する代わりに、各回答に対して確率を返す。 CLMベンチマークのバイアステストは、2024年と2026年の8つのTDMと7つのLCM判事で実施しました。
• 参考スコア（独自算出の注目度）: 42.81508114645598
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Typed decision models (TDMs) return a probability for each allowed answer instead of generating text, which makes them candidates for cheaply replacing LLM judges that compare two answers. Whether they share the biases of LLM judges is untested. We run the CALM benchmark's bias tests on eight TDMs and seven LLM judges of 2024 and 2026. Every TDM is biased, in three to eight of twelve tests. Emotional tone affects them most, and rewriting the better answer in such a tone lowers the accuracy of a typical TDM from 99% to 42%. TDMs are more biased than 2026 LLM judges. All eight change verdicts when the answers swap places, which the 2026 LLM judges hardly do, and several side with an answer that most people allegedly prefer or that a famous model allegedly wrote. Yet both kinds of judge are tripped up by the same prompts. The TDMs' probabilities show that most tests mainly flip verdicts the TDM was unsure of, and that good calibration does not protect against bias. As TDMs are more consistent and 37 times cheaper than 2026 LLM judges, our results suggest they can be attractive judges if their biases are tested for the task.
• Abstract（参考訳）: 型決定モデル(TDM)は、テキストを生成する代わりに、許容される各回答の確率を返します。 LLM審査員のバイアスを共有するかどうかは未検証である。 CLMベンチマークのバイアステストは、2024年と2026年の8つのTDMと7つのLCM判事で実施しました。 すべてのTDMは、12テスト中3～8テストでバイアスを受けます。 感情のトーンはそれらに最も影響を与え、そのようなトーンでより良い答えを書き直すと、典型的なTDMの精度は99%から42%に低下する。 TDMは2026 LLMの審査員よりも偏見が強い。 この8つの変更は、答えが2026年のLLMの審査員がほとんどしない場所と、ほとんどの人が好んでいる、あるいは有名なモデルが書いたという回答を交換した場合に行われる。 しかし、どちらの裁判官も同じプロンプトでトリプルアップされる。 TDMの確率は、ほとんどのテストが主にTDMが不確実であると判断し、良好な校正がバイアスから保護されないことを示している。 TDMは2026 LLMの審査員より37倍、一貫性が強く、37倍も安価であるので、我々の結果は、彼らのバイアスがタスクのためにテストされた場合、魅力的な審査員になれることを示唆している。

関連論文リスト

• JEV vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places [34.429649156970015]
  Jevを7つのベンチマークから9つのパネル上の3つのフラッシュレベルLCMの判定値と比較する。 Jevの精度は、27のペア比較のうち、少なくとも8つのペア比較において、それらと大きく異なる。 規則上の基準では、全てのLLM判事とJevは共にヒトのラッカーから出発する。
  論文  参考訳（メタデータ） (2026-09-24T13:16:21Z)
• Do You Need a Frontier Model as a Citation Verifier? Benchmarking Rubric LLMs for Deep-Research Source Attribution [0.0]
  ディープリサーチシステムにおける励磁品質の校正問題について検討する。 LLM審査員8名に対し、1248件の粗悪な判断を下し、金のラベルに異議を唱えた。 以上の結果から,このキャリブレーションは最も高価なモデルを必要としないことがわかった。
  論文  参考訳（メタデータ） (2026-07-09T17:01:40Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)
• Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena [76.21004582932268]
  本研究では, LLM-as-a-judgeの使用状況と限界について検討し, 位置, 冗長性, 自己改善バイアスについて検討した。 次に、マルチターン質問セットであるMT-benchとクラウドソースのバトルプラットフォームであるArenaの2つのベンチマークを導入することで、LCMの判断と人間の嗜好の一致を検証する。
  論文  参考訳（メタデータ） (2023-06-09T05:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。