論文の概要: Prompt Lottery in LLM-as-a-Judge: Measuring and Mitigating Sensitivity to Syntactic Rephrasing

• arxiv url: http://arxiv.org/abs/2610.38076v1
• Date: Tue, 27 Oct 2026 23:45:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.928604
• Title: Prompt Lottery in LLM-as-a-Judge: Measuring and Mitigating Sensitivity to Syntactic Rephrasing
• Title（参考訳）: LLM-as-a-Judgeにおけるプロンプト・ロッテ--シンタクティック・リフレージングに対する感度の測定と緩和
• Abstract要約: textitPrompt Lotteryは,パラフラスティックな言い換えが異なるLLMaJ判断を生じさせる現象である。 これらの変動は評価結果を変化させることができ、いくつかの設定では相対モデルランキングを逆転させる。 これは、単発評価がモデルランキングにおいて不十分に堅牢であることを示している。
• 参考スコア（独自算出の注目度）: 2.0703219713718055
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-as-a-Judge has become a standard for evaluating large language models, yet most approaches implicitly assume that a single judge prompt functions as a stable evaluation instrument. Prior work has primarily explored deliberate prompt modifications such as scoring rubrics, role descriptions, or chain-of-thought reasoning in order to optimize accuracy. In contrast, we investigate whether validated prompt variants intended to preserve evaluation semantics while differing in surface realization (\textit{paraphrastic rephrasings}) yield consistent judgments under a fixed evaluation task. We introduce \textit{Prompt Lottery}, a phenomenon in which paraphrastic rephrasings produce different LLMaJ judgments. Across a large-scale study spanning diverse evaluation tasks, judge families, and model backbones, we find that these variations can alter evaluation outcomes and, in some settings, reverse relative model rankings. A user study with 10 human annotators shows that LLMaJ judges exhibit 6-9$\times$ larger agreement degradation under prompt rephrasings than humans, falling below the generally accepted threshold in usability studies. This indicates that single-prompt evaluation is insufficiently robust for model ranking. Finally, we show that multi-prompt aggregation substantially improves robustness by emphasizing judgments that remain consistent across prompt variants.
• Abstract（参考訳）: LLM-as-a-Judgeは大規模言語モデル評価の標準となっているが、ほとんどのアプローチでは、単一の判定器が安定した評価器として機能することを暗黙的に仮定している。 それまでの研究は主に、精度を最適化するために、筆跡の採点、役割記述、思考の連鎖推論などの故意に急進的な修正を研究してきた。 これとは対照的に、表面実現において異なる意味を保ちつつ、評価のセマンティクスを維持することを目的とした検証されたプロンプト変種(\textit{paraphrastic rephrasings})が、一定の評価課題の下で一貫した判断を下すかどうかを検討する。 本稿では,パラフラスティックな言い換えによって異なるLLMaJ判断が生じる現象である「textit{Prompt Lottery}」を紹介する。 多様な評価課題、判断家族、モデルバックボーンにまたがる大規模な研究において、これらの変異は評価結果を変化させることができ、いくつかの設定では相対モデルランキングを逆転させることが判明した。 10人のアノテータによるユーザスタディによると、LLMaJの審査員は、人間よりも迅速な言い換えで6-9$\times$大きなコンセンサス劣化を示し、ユーザビリティ研究において一般的に受け入れられているしきい値を下回っている。 これは、単発評価がモデルランキングに不十分なロバストであることを示唆している。 最後に,マルチプロンプトアグリゲーションは,逐次変種間で一貫性のある判断を強調することによって,ロバスト性を大幅に向上することを示す。

関連論文リスト

• Overwhelmed by Choice: Studying LLM Decision Making at Scale [70.45144023754595]
  候補数の増加に伴い,複数選択および候補選択の評価を体系的に評価した。 タスク間での相当な精度劣化、戦略の推進、モデルスケールが見られます。 階層分割と置換に基づく推論は、HotpotQAとMIMICで約20パーセントの精度をN=160$で向上する。
  論文  参考訳（メタデータ） (2026-09-26T17:33:04Z)
• Bias in the Loop: Auditing LLM-as-a-Judge for Software Engineering [0.0]
  大規模な言語モデルは、コードのアーティファクトを評価するために裁判官としてますます使われています。 現在のプラクティスには、信頼性とバイアスの原則的な説明が欠けている。 計測ファーストレンズを用いたLCM-as-a-Judgeの符号化について検討する。
  論文  参考訳（メタデータ） (2026-04-18T02:35:05Z)
• Permutation-Consensus Listwise Judging for Robust Factuality Evaluation [0.8563354084119061]
  リストワイド事実性評価における候補順序感度について検討した。 そこで我々は,PCFJudgeを紹介した。PCFJudgeは,同一候補集合の複数の順序に対して,同じ事実を優先的にリストワイズする推論時手法である。 RewardBench 2 Factualityでは、PCFJudgeは最大7つの絶対点による直接判定よりも改善される。
  論文  参考訳（メタデータ） (2026-03-20T23:35:14Z)
• Quantitative LLM Judges [60.773734899532336]
  本研究では,既存のLLM審査員の評価スコアを,与えられた領域内の人間と一致させる定量的LLM審査員を提案する。 モデルは、その合理性とスコアを使用して、元の審査員のスコアを改善するために訓練される。 実験の結果, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を向上できることがわかった。
  論文  参考訳（メタデータ） (2025-06-03T14:44:23Z)
• JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
  本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。 我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。 さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
  論文  参考訳（メタデータ） (2024-10-31T18:43:12Z)
• CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution [74.41064280094064]
  textbfJudger-1は、最初のオープンソースのtextbfall-in-one judge LLMである。 CompassJudger-1は、優れた汎用性を示す汎用LLMである。 textbfJudgerBenchは、様々な主観評価タスクを含む新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-10-21T17:56:51Z)
• Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
  我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
  論文  参考訳（メタデータ） (2024-10-18T17:32:22Z)
• Style Over Substance: Evaluation Biases for Large Language Models [17.13064447978519]
  本研究では,大規模言語モデル(LLM)とともに,クラウドソースおよびエキスパートアノテータの挙動について検討する。 この結果から, 事実的誤りに対する回答は, 短すぎる, 文法的誤りを含む回答よりも好意的に評価され, 評価過程の偏りが示唆された。 評価面を1つのスコアにマージするのではなく,複数の次元にまたがるマシン生成テキストを独立に評価することを提案する。
  論文  参考訳（メタデータ） (2023-07-06T14:42:01Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。