論文の概要: Bias in the Loop: Auditing LLM-as-a-Judge for Software Engineering

• arxiv url: http://arxiv.org/abs/2604.16790v1
• Date: Sat, 18 Apr 2026 02:35:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 14:04:47.899471
• Title: Bias in the Loop: Auditing LLM-as-a-Judge for Software Engineering
• Title（参考訳）: ループのバイアス:LLM-as-a-Judge for Software Engineering
• Abstract要約: 大規模な言語モデルは、コードのアーティファクトを評価するために裁判官としてますます使われています。 現在のプラクティスには、信頼性とバイアスの原則的な説明が欠けている。 計測ファーストレンズを用いたLCM-as-a-Judgeの符号化について検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models are increasingly used as judges to evaluate code artifacts when exhaustive human review or executable test coverage is unavailable. LLM-judge is increasingly relevant in agentic software engineering workflows, where it can help rank candidate solutions and guide patch selection. While attractive for scale, current practice lacks a principled account of reliability and bias: repeated evaluations of the same case can disagree; small prompt edits can swing outcomes; and seemingly semantics-preserving, human-equivalent perturbations may elicit divergent verdicts. This paper studies LLM-as-a-Judge for code through a measurement-first lens. We analyze two pointwise judging regimes across code generation, code repair task, and test generation, and we systematically probe prompt-induced biases. Our study considers difficulty levels for repeated runs and controlled prompt interventions that isolate one presentation cue at a time, and it evaluates judges using consistency and sensitivity to bias. We find that judge decisions are highly sensitive to prompt biases even when the underlying code snippet is unchanged. Across all three tasks, several biases systematically shift preferences toward the option favored by the prompt, improving accuracy when that option aligns with the gold answer but substantially reducing it otherwise. In some settings, these effects are large enough to change task-level conclusions and alter relative model rankings. These findings show that reported judge performance may reflect prompt artifacts rather than stable assessment ability, posing a direct threat to the validity and reproducibility of code evaluation. We therefore argue that LLM-as-a-Judge studies should report bias sensitivity alongside accuracy and incorporate explicit controls to support more trustworthy model comparison in software engineering.
• Abstract（参考訳）: 大規模な言語モデルは、人間の徹底的なレビューや実行可能なテストカバレッジが利用できない場合に、コードのアーティファクトを評価するためにますます使用される。 LLM-judgeは,候補ソリューションのランク付けとパッチ選択のガイドを支援するエージェントソフトウェアエンジニアリングワークフローにおいて,ますます関連性が高まっている。 スケールには魅力的だが、現在のプラクティスには信頼性とバイアスの原則的な説明が欠けている:同じケースの繰り返しの評価は相反することがある;小さなプロンプト編集は結果を揺さぶる可能性がある;そして一見意味論的に保存されているように、人間と同等の摂動は、異質な評決を招きかねない。 計測ファーストレンズを用いたLCM-as-a-Judgeの符号化について検討する。 我々は、コード生成、コード修復タスク、テスト生成の2つのポイントワイズ判定規則を分析し、システマティックにプロンプト誘起バイアスを探索する。 本研究は,一度に1つのプレゼンテーションキューを分離する反復実行の難易度と即時介入の制御について検討し,一貫性とバイアスに対する感受性を用いて審査員を評価した。 私たちは、下層のコードスニペットが変更されていない場合でも、判断はバイアスを促すことに非常に敏感であることに気付きました。 これら3つのタスク全体で、いくつかのバイアスが、プロンプトによって好まれる選択肢に体系的に優先順位をシフトし、その選択肢が金の答えと一致した時の精度を向上するが、それ以外は大幅に低下させる。 いくつかの設定では、これらの効果はタスクレベルの結論を変更し、相対モデルランキングを変更するのに十分な大きさである。 これらの結果から, 判定性能は, 安定した評価能力よりも即時的な成果物を反映し, コード評価の妥当性と再現性に直接的な脅威をもたらす可能性が示唆された。 したがって、LCM-as-a-Judge研究は、精度とともにバイアス感度を報告し、ソフトウェア工学におけるより信頼できるモデル比較をサポートするための明示的な制御を取り入れるべきである。

関連論文リスト

• Judge Reliability Harness: Stress Testing the Reliability of LLM Judges [1.1699027359021665]
  Judge Reliability Harnessは、LCM判事の信頼性をテストする検証スイートを構築するためのオープンソースライブラリである。 安全性,説得性,誤用,エージェント行動の4つのベンチマークで,最先端の4つの審査員を評価した。
  論文  参考訳（メタデータ） (2026-03-05T17:27:07Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• Evaluating and Mitigating LLM-as-a-judge Bias in Communication Systems [32.83708359216193]
  大規模言語モデル(LLM)は、コミュニケーションシステムにおけるコンテンツの品質を自律的に評価するために、ますます使われている。 本稿では,2つのLLM-as-a-judgeモデルにおける判定バイアスをポイントワイド評価条件下で系統的に検討する。 我々は,実践的なコミュニケーションシナリオにおいて,公平かつ信頼性の高いAIを確保するための4つの潜在的な緩和戦略を提案する。
  論文  参考訳（メタデータ） (2025-10-14T12:52:29Z)
• The Silent Judge: Unacknowledged Shortcut Bias in LLM-as-a-Judge [17.555073770285095]
  大規模言語モデル(LLM)は、要約、対話、創造的執筆といったタスクにおいてシステム出力を評価する自動判断器として、ますます多くデプロイされている。 提案手法では,現行のLLM審査員は,プロンプトに導入したショートカットに頼って,両方のカウントでフェールすることを示す。
  論文  参考訳（メタデータ） (2025-09-30T10:48:08Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• CodeJudgeBench: Benchmarking LLM-as-a-Judge for Coding Tasks [63.562924932512765]
  LLM(Large Language Models)は、様々なコーディングタスクにおいて最先端の言語モデルである。 LLMは、他のモデルによって生成された応答の品質を評価し、比較する裁判官としても機能する。
  論文  参考訳（メタデータ） (2025-07-14T17:56:29Z)
• But what is your honest answer? Aiding LLM-judges with honest alternatives using steering vectors [0.0]
  Judge Using Safety-Steered Alternatives (JUSSA) は、推論中にステアリングベクトルを使用してより正直な代替品を生成するフレームワークである。 梅毒検出における JUSSA の評価を行い,複数種類の操作を対象とする新しい操作データセットを提案する。 システムの高度化に伴い,当社の作業は,スケーラブルなモデル監査のための新たな方向性を開拓します。
  論文  参考訳（メタデータ） (2025-05-23T11:34:02Z)
• Don't Judge Code by Its Cover: Exploring Biases in LLM Judges for Code Evaluation [14.521056434373213]
  評価子として大きな言語モデルを使用すると、コード評価タスクに拡張される。 LLMは、表面的なバリエーションで意味論的に等価なコードを公平かつ堅牢に評価できますか? コード評価における潜在的なバイアスを6種類定義し,この問題を包括的に検討した。
  論文  参考訳（メタデータ） (2025-05-22T04:49:33Z)
• Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators [66.83088028268318]
  本稿では,テスト時間スケーリングベンチマークの判定評価について紹介する。 3つのタスク設定の下で、3つのドメイン(推論、コード生成、命令従)での判定性能を評価する。 我々のベンチマークは、審査員が再評価において結果報酬モデルと競合する一方で、ビームサーチにおけるプロセス報酬モデルよりも一貫して悪いことを示している。
  論文  参考訳（メタデータ） (2025-04-21T17:33:23Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
  近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。 本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2024-03-15T02:04:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。