論文の概要: Does the Judge Prefer English? Evaluating Language-Switching Invariance in LLM-as-a-Judge

• arxiv url: http://arxiv.org/abs/2606.14278v1
• Date: Fri, 12 Jun 2026 08:59:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.846784
• Title: Does the Judge Prefer English? Evaluating Language-Switching Invariance in LLM-as-a-Judge
• Title（参考訳）: 裁判官は英語を優先するか? LLM-as-a-Judgeにおける言語スイッチング不変性の評価
• Authors: Shaojie Yin,
• Abstract要約: LLMBar応答ペアアイテムを英語、中国語、中国語に切り替えた変種に変換する軽量なメタ評価プロトコルを提案する。 信頼できる裁判官は、ラベルアクセシブル言語変換の下でその嗜好を維持するべきである。 モデル全体では、中国語と言語に精通したプレゼンテーションは、英語と比較して10.7-14.4%の好みのフリップを誘導し、すべての審査員は英語で最高の精度を達成している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are now widely used as automatic judges for open-ended instruction-following evaluation. This practice is convenient, scalable, and often more semantically aware than reference-based metrics, but it also introduces a new reliability question: does a judge evaluate the quality of an answer, or does it also react to the language in which the comparison is presented? We propose Judge-LS, a lightweight meta-evaluation protocol that transforms LLMBar response-pair items into English, Chinese, and Chinese-English language-switched variants. A reliable judge should preserve its preference under label-preserving language transformations and should not prefer a language when two answers are translation-equivalent. We evaluate four API-accessible judges on the full 419-item LLMBar benchmark, producing 13,408 successful pairwise judgments. Across models, Chinese and language-switched presentations induce 10.7--14.4% preference flips relative to English, and all judges achieve their highest accuracy in English. However, translation-equivalent tie probes do not reveal a systematic English preference: most probes are judged as ties, and non-tie decisions more often favor Chinese. We add confidence intervals, paired significance tests, and an automatic transformation audit with a sensitivity analysis that excludes mechanically flagged high-risk variants. The experiment requires no model training, uses only API calls, and is feasible on modest local hardware.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、現在、オープンエンド命令フォロー評価のための自動判断器として広く使われている。 このプラクティスは便利でスケーラブルで、しばしば参照ベースのメトリクスよりもセマンティックに意識されているが、新しい信頼性に関する質問も導入されている。 我々は,LLMBarの応答ペアアイテムを英語,中国語,中国語に切り替えた変種に変換する軽量なメタ評価プロトコルであるJice-LSを提案する。 信頼できる判断者は、ラベル保存言語変換の下でその好みを保ち、2つの回答が翻訳等価である場合、言語を好まないべきである。 フル419item LLMBarベンチマークで4つのAPIアクセシブル・ジャッジを評価し,13,408個のペアワイズ・ジャッジを生成した。 モデル全体では、中国語と言語に精通したプレゼンテーションは、英語と比較して10.7-14.4%の好みのフリップを誘導し、すべての審査員は英語で最高の精度を達成している。 しかし、翻訳に等価なタイプローブは、体系的な英語の好みを明らかにしていない。 我々は、機械的にフラグ付けされた高リスク変動を除外した感度分析による信頼区間、ペア意味試験、自動変換監査を追加する。 この実験はモデルトレーニングを必要とせず、API呼び出しのみを使用し、控えめなローカルハードウェアで実現可能である。

関連論文リスト

• Cross-Lingual Stability of LLM Judges Under Controlled Generation: Evidence from Finno-Ugric Languages [0.22009842278462158]
  大規模言語モデル(LLM)の言語間評価は、典型的には、真のモデルの性能差と測定不安定性の2つの要因を混同する。 対象言語が異なる場合に生成条件を一定に保って評価信頼性を評価する。 本研究は, 形態学的に豊かな言語における談話レベルの評価には, ゼロショット・ジャッジ・トランスファーが信頼できないことを示唆している。
  論文  参考訳（メタデータ） (2026-02-02T16:27:32Z)
• Fairness or Fluency? An Investigation into Language Bias of Pairwise LLM-as-a-Judge [9.062065949101001]
  LLM-as-a-judgeの2種類の言語バイアスについて検討した。 同言語の判断では、言語家族間で大きなパフォーマンス格差があり、ヨーロッパ語はアフリカ語を一貫して上回っている。 言語間判断において、ほとんどのモデルは英語の解答を好んでおり、この選好は質問言語よりも解答言語によって影響される。
  論文  参考訳（メタデータ） (2026-01-20T06:33:33Z)
• JP-TL-Bench: Anchored Pairwise LLM Evaluation for Bidirectional Japanese-English Translation [0.0]
  JP-TL-Bench(JP-TL-Bench)は、日本語翻訳システムの反復的開発を導くためのベンチマークである。 これは、固定されたバージョン付きアンカーセットに対して、基準のないペアワイズ比較によって候補モデルを評価する。 各候補は、同じ凍結アンカーセットに対してスコアされるので、スコアは、同じベースセット、判定、アグリゲーションコードに対して構造的に安定である。
  論文  参考訳（メタデータ） (2026-01-01T06:09:45Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)
• CLAIR-A: Leveraging Large Language Models to Judge Audio Captions [73.51087998971418]
  機械生成オーディオキャプションの評価は、様々な要因を検討する必要がある複雑なタスクである。 本稿では,大規模言語モデルのゼロショット機能を活用するシンプルで柔軟なCLAIR-Aを提案する。 我々の評価では、CLAIR-Aは従来のメトリクスと比較して品質の人的判断を良く予測する。
  論文  参考訳（メタデータ） (2024-09-19T17:59:52Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。