論文の概要: BabelJudge: Measuring LLM-as-a-Judge Reliability Across Languages and Agent Trajectories

• arxiv url: http://arxiv.org/abs/2606.22329v1
• Date: Sun, 21 Jun 2026 04:35:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 19:04:49.598763
• Title: BabelJudge: Measuring LLM-as-a-Judge Reliability Across Languages and Agent Trajectories
• Title（参考訳）: BabelJudge: LLM-as-a-Judgeの信頼性を言語とエージェントの軌道で測定する
• Authors: Shreyas KC,
• Abstract要約: LLM-as-a-judgeは、NLPパイプラインのスケーラビリティ評価において、主要なアプローチとなっている。 オープンソースのベンチマークと信頼性監査フレームワークであるBabelJudgeを紹介します。 位置バイアス、冗長性バイアス、順序の不整合、言語間の劣化の4つの障害モードを計測します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM-as-a-judge has become the dominant approach to scalable evaluation in NLP pipelines, yet judges themselves carry systematic biases that raw accuracy hides: they favor responses placed in slot A (position bias), they prefer longer responses regardless of quality (verbosity bias), and their reliability degrades sharply in lower-resource languages. We introduce BabelJudge, an open-source benchmark and reliability audit framework that measures all four failure modes -- position bias, verbosity bias, order inconsistency, and cross-lingual degradation -- on any judge model, without requiring human preference labels. The key insight is gold-labelling by degradation: starting from a high-quality reference response and applying a controlled perturbation yields a pairwise item whose gold label is known by construction, eliminating annotation cost. We evaluate Qwen2.5-7B-Instruct-4bit across English, Hindi, Arabic, and Swahili and find that our composite bias-penalised reliability score drops from 0.714 in Hindi to 0.550 in Swahili, a gap that raw accuracy (0.835 vs. 0.660) understates. Swahili order consistency collapses to 0.480, meaning judge verdicts are near-random under slot-order swaps -- a failure mode invisible to accuracy alone. We further extend the framework to agentic evaluation via nine trajectory-level perturbations (argument corruption, tool swaps, hallucinated calls, missing steps) and three new metrics: tool accuracy, hallucination detection rate, and trajectory-length bias. BabelJudge is released as a Python package supporting 11 judge backends. Code: https://github.com/Shreyaskc/BabelJudge
• Abstract（参考訳）: LLM-as-a-judge は NLP パイプラインにおける拡張性評価の主流のアプローチとなっているが、判断そのものが生の精度を隠蔽する体系的なバイアスを担っている。 オープンソースのベンチマークと信頼性監査フレームワークであるBabelJudgeを紹介します。これは、4つの障害モード – 位置バイアス、冗長性バイアス、順序の不整合、言語横断的劣化 – を、人間の選好ラベルを必要とせずに、あらゆる判断モデルに計測します。 高品質な参照応答から始まり、制御された摂動を適用することで、金ラベルが構築によって知られているペアワイズアイテムが得られ、アノテーションコストがなくなる。 我々は、英語、ヒンディー語、アラビア語、スワヒリ語でQwen2.5-7B-Instruct-4bitを評価し、我々の複合バイアスによる信頼性スコアが、ヒンディー語で0.714からスワヒリで0.550に低下することを発見した。 スワヒリの順序整合性は0.480に崩壊する。 さらに,9つの軌道レベルの摂動(調停,ツールスワップ,幻覚的呼び出し,ステップ欠落)と3つの新しい指標(ツール精度,幻覚検出率,軌道長バイアス)によって,エージェント評価に拡張する。 BabelJudgeはPythonパッケージとしてリリースされ、11のジャッジバックエンドをサポートする。 コード:https://github.com/Shreyaskc/BabelJudge

関連論文リスト

• Does the Judge Prefer English? Evaluating Language-Switching Invariance in LLM-as-a-Judge [0.0]
  LLMBar応答ペアアイテムを英語、中国語、中国語に切り替えた変種に変換する軽量なメタ評価プロトコルを提案する。 信頼できる裁判官は、ラベルアクセシブル言語変換の下でその嗜好を維持するべきである。 モデル全体では、中国語と言語に精通したプレゼンテーションは、英語と比較して10.7-14.4%の好みのフリップを誘導し、すべての審査員は英語で最高の精度を達成している。
  論文  参考訳（メタデータ） (2026-06-12T08:59:26Z)
• Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
  デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。 私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。 プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
  論文  参考訳（メタデータ） (2026-06-09T02:11:01Z)
• Turning Bias into Bugs: Bandit-Guided Style Manipulation Attacks on LLM Judges [65.92623263645139]
  LLM審査員を誤解させるためにセマンティクスを保存する編集を学習するブラックボックスの敵対的フレームワークであるBITEを紹介する。 BITEは65%を超える攻撃成功率を獲得し、9ポイントのスケールでスコアを1-2ポイント上げる。 LLM-as-a-judgeパラダイムの根本的な弱点を明らかにし,ロバストでアタック・アウェアな評価を動機づけた。
  論文  参考訳（メタデータ） (2026-05-24T05:24:09Z)
• Judging the Judges: A Systematic Evaluation of Bias Mitigation Strategies in LLM-as-a-Judge Pipelines [0.0]
  4つのプロバイダファミリーの5つの審査モデルに対して,9つのデバイアスング戦略を比較した。 スタイルバイアスは支配的バイアス(全モデルで0.76-0.92)であり、位置バイアス(=0.04)をはるかに超えている。 統合予算戦略により、Claude Sonnet 4 は+11.2 pp (p 0.0001) に大幅に改善され、他のモデルの方向性に好意的な傾向が見られた。
  論文  参考訳（メタデータ） (2026-04-25T07:18:30Z)
• Benchmarking Bengali Dialectal Bias: A Multi-Stage Framework Integrating RAG-Based Translation and Human-Augmented RLAIF [0.3227658251731014]
  大規模言語モデル(LLM)は、低リソース言語の方言に対する性能バイアスを頻繁に示している。 ベンガル方言9方言を対象に,LLM質問応答における方言バイアスを評価するための2段階の枠組みを提案する。
  論文  参考訳（メタデータ） (2026-03-22T18:44:57Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• ObjexMT: Objective Extraction and Metacognitive Calibration for LLM-as-a-Judge under Multi-Turn Jailbreaks [12.396822247035578]
  目的抽出とメタ認知のためのベンチマークであるexMTを提案する。 マルチターン書き起こしが与えられた場合、モデルは1文ベース目標と自己報告された自信を出力しなければならない。 正確性は金の目標と類似性によって評価され、300の校正項目で1度閾値付けされる。
  論文  参考訳（メタデータ） (2025-08-23T03:32:04Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。