論文の概要: The Silent Judge: Unacknowledged Shortcut Bias in LLM-as-a-Judge

• arxiv url: http://arxiv.org/abs/2509.26072v2
• Date: Tue, 14 Oct 2025 08:41:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 14:23:56.86559
• Title: The Silent Judge: Unacknowledged Shortcut Bias in LLM-as-a-Judge
• Title（参考訳）: LLM-as-a-Judgeの無罪判決
• Authors: Arash Marioriyad, Mohammad Hossein Rohban, Mahdieh Soleymani Baghshah,
• Abstract要約: 大規模言語モデル(LLM)は、要約、対話、創造的執筆といったタスクにおいてシステム出力を評価する自動判断器として、ますます多くデプロイされている。 提案手法では,現行のLLM審査員は,プロンプトに導入したショートカットに頼って,両方のカウントでフェールすることを示す。
• 参考スコア（独自算出の注目度）: 17.555073770285095
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models (LLMs) are increasingly deployed as automatic judges to evaluate system outputs in tasks such as summarization, dialogue, and creative writing. A faithful judge should base its verdicts solely on response quality and explicitly acknowledge the factors shaping its decision. We show that current LLM judges fail on both counts by relying on shortcuts introduced in the prompt. Our study uses two evaluation datasets: ELI5, a benchmark for long-form question answering, and LitBench, a recent benchmark for creative writing. Both datasets provide pairwise comparisons, where the evaluator must choose which of two responses is better. From each dataset we construct 100 pairwise judgment tasks and employ two widely used models, GPT-4o and Gemini-2.5-Flash, as evaluators in the role of LLM-as-a-judge. For each pair, we assign superficial cues to the responses, provenance cues indicating source identity (Human, Expert, LLM, or Unknown) and recency cues indicating temporal origin (Old, 1950 vs. New, 2025), while keeping the rest of the prompt fixed. Results reveal consistent verdict shifts: both models exhibit a strong recency bias, systematically favoring new responses over old, as well as a clear provenance hierarchy (Expert > Human > LLM > Unknown). These biases are especially pronounced in GPT-4o and in the more subjective and open-ended LitBench domain. Crucially, cue acknowledgment is rare: justifications almost never reference the injected cues, instead rationalizing decisions in terms of content qualities. These findings demonstrate that current LLM-as-a-judge systems are shortcut-prone and unfaithful, undermining their reliability as evaluators in both research and deployment.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、要約、対話、創造的執筆といったタスクにおいてシステム出力を評価する自動判断器として、ますます多くデプロイされている。 忠実な裁判官は、判断を応答品質のみに基づいて下し、決定を形作る要因を明確に認めなければならない。 提案手法では,現行のLCM審査員は,プロンプトに導入したショートカットに頼って,両方のカウントでフェールすることを示す。 ELI5(長文質問応答のベンチマーク)と、最近のクリエイティブな文章のベンチマークであるLitBench(リンク)の2つの評価データセットを使用しました。 どちらのデータセットもペア比較を提供しており、評価者は2つのレスポンスのどちらがよいかを選択する必要がある。 各データセットから、100対の判定タスクを構築し、LPM-as-a-judgeの役割を評価するために、GPT-4oとGemini-2.5-Flashという2つの広く使われているモデルを使用します。 各ペアに対して, 応答, 情報源の同一性を示す証明的手がかり (Human, Expert, LLM, Unknown) , 時間的起源を示す回帰的手がかり (Old, 1950 vs. New, 2025) を割り当て, 残りのプロンプトを固定したままにしておく。 どちらのモデルも、古いものよりも新しい反応を体系的に好んでおり、明確な証明階層(Expert > Human > LLM > Unknown)も持っている。 これらのバイアスは特に GPT-4o やより主観的でオープンな LitBench ドメインで顕著である。 正当化は、注入された手がかりをほとんど参照せず、代わりにコンテンツ品質の観点から決定を合理化します。 これらの結果から,現在のLCM-as-a-judgeシステムは短命で不誠実であり,研究と展開の両面での信頼性を損なうことが明らかとなった。

関連論文リスト

• The Judge Who Never Admits: Hidden Shortcuts in LLM-based Evaluation [17.386684382460242]
  大規模言語モデル(LLM)は、推論、質問応答、創造的記述といったタスクにおけるシステムの出力を評価するために、ますます使われてきている。 6つの判定モデルに対する評価プロンプトに挿入された制御キュー摂動合成メタデータラベルを用いて,この理想を検証した。 情報源,時間,年齢,性別,民族,教育的地位の6つのキュー族を調査する。
  論文  参考訳（メタデータ） (2026-02-08T14:45:23Z)
• Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
  大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。 要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
  論文  参考訳（メタデータ） (2026-02-07T19:39:28Z)
• Are We on the Right Way to Assessing LLM-as-a-Judge? [16.32248269615178]
  人間のアノテーションを必要とせずにLCM審査員の質を評価する新しい評価スイートであるSageを紹介する。 合理的選択理論の公理に触発されたセージは、LLM-as-a-Judgeを測定するための2つの新しいレンズ(局所的な自己整合性と大域的な論理的整合性)を導入した。 Sage に基づいて,現在最先端の LLM は,スコアリングとペアワイズの両方において,審査員として機能する場合に,重大な信頼性上の問題があることを明らかにした。
  論文  参考訳（メタデータ） (2025-12-17T23:49:55Z)
• Evaluating and Mitigating LLM-as-a-judge Bias in Communication Systems [32.83708359216193]
  大規模言語モデル(LLM)は、コミュニケーションシステムにおけるコンテンツの品質を自律的に評価するために、ますます使われている。 本稿では,2つのLLM-as-a-judgeモデルにおける判定バイアスをポイントワイド評価条件下で系統的に検討する。 我々は,実践的なコミュニケーションシナリオにおいて,公平かつ信頼性の高いAIを確保するための4つの潜在的な緩和戦略を提案する。
  論文  参考訳（メタデータ） (2025-10-14T12:52:29Z)
• Hearing the Order: Investigating Selection Bias in Large Audio-Language Models [51.69003519291754]
  大規模オーディオ言語モデル(LALM)は、注文された選択肢に対する推論を含むタスクでしばしば使用される。 本稿では,この問題をLALMで同定し,解析する。
  論文  参考訳（メタデータ） (2025-10-01T08:00:58Z)
• Quantitative LLM Judges [48.676042957523045]
  本研究では,既存のLLM審査員の評価スコアを,与えられた領域における人間の評価スコアと整合させる定量的LLM判定者を提案する。 モデルは、裁判官のテキスト評価とスコアを用いて、原判事のスコアを改善するために訓練される。 実験により, 定量的な判断は, ポストホックモデリングにより, 既存の判断の予測力を効果的に向上できることが示された。
  論文  参考訳（メタデータ） (2025-06-03T14:44:23Z)
• Don't Judge Code by Its Cover: Exploring Biases in LLM Judges for Code Evaluation [14.521056434373213]
  評価子として大きな言語モデルを使用すると、コード評価タスクに拡張される。 LLMは、表面的なバリエーションで意味論的に等価なコードを公平かつ堅牢に評価できますか? コード評価における潜在的なバイアスを6種類定義し,この問題を包括的に検討した。
  論文  参考訳（メタデータ） (2025-05-22T04:49:33Z)
• Ethical AI on the Waitlist: Group Fairness Evaluation of LLM-Aided Organ Allocation [19.66750942418172]
  オルガンアロケーションをケーススタディとして,(1)選択1と(2)ランクオールの2つのタスクを紹介した。 ランクオールでは、LLMは腎臓の全ての候補をランク付けし、実際の割り当てプロセスを反映している。 従来の公正度指標はランク付けを考慮しないため、バイアスを捉えるためにボルダスコアの新たな応用を提案する。
  論文  参考訳（メタデータ） (2025-03-29T04:36:25Z)
• From Generation to Judgment: Opportunities and Challenges of LLM-as-a-judge [32.55871325700294]
  人工知能(AI)と自然言語処理(NLP)において、長い間、評価と評価が重要な課題であった。 大規模言語モデル(LLM)の最近の進歩は"LLM-as-a-judge"パラダイムを刺激している。
  論文  参考訳（メタデータ） (2024-11-25T17:28:44Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
  近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。 本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2024-03-15T02:04:35Z)
• The ART of LLM Refinement: Ask, Refine, and Trust [85.75059530612882]
  ART: Ask, Refine, and Trust と呼ばれる改良目標を用いた推論を提案する。 LLMがいつその出力を洗練すべきかを決めるために必要な質問を尋ねる。 自己補充ベースラインよりも+5ポイントの性能向上を達成する。
  論文  参考訳（メタデータ） (2023-11-14T07:26:32Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。