論文の概要: MAWILE: Multi-Axis Workbench for Inspecting LLM Evaluators

• arxiv url: http://arxiv.org/abs/2609.22599v1
• Date: Fri, 18 Sep 2026 21:34:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:03.881682
• Title: MAWILE: Multi-Axis Workbench for Inspecting LLM Evaluators
• Title（参考訳）: MAWILE: LLM評価器を検査するためのマルチアクシスワークベンチ
• Abstract要約: 大規模言語モデル(LLM)の判断は、モデルとエージェントの出力を評価する柔軟な方法を提供する。 彼らの評定は、評価された応答、判断命令、およびスコアリングルーリックにおける偶発的な変化に敏感である。 我々は,4面にわたる判断感度を監査するための開発者向けワークベンチであるMAWILEを紹介する。
• 参考スコア（独自算出の注目度）: 16.543362227322316
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) judges provide a flexible and scalable method for evaluating model and agent outputs, but their verdicts can be sensitive to incidental changes in the evaluated response, judge instructions, and scoring rubric. Existing systems examine important subsets of these failure modes, but auditing a configured judge requires testing both the judge instrument and the items it evaluates. We introduce MAWILE, a developer-facing workbench for auditing judge sensitivity across four surfaces: the judge prompt, judge rubric, target-system input, and target-system output. Given a user-supplied judge and representative evaluation items, MAWILE constructs and validates controlled perturbations, re-executes the judge, and localizes the resulting sensitivity. Each perturbation declares whether the verdict should remain invariant or change in a specified direction, allowing the same system to measure both robustness to irrelevant variations and sensitivity to meaningful changes. MAWILE audits binary, ordinal, and pairwise judges without requiring gold labels. The code for this tool is available at: github.com/megagonlabs/mawile-judge.
• Abstract（参考訳）: 大規模言語モデル(LLM)の判断は、モデルとエージェントの出力を評価するための柔軟でスケーラブルな方法を提供するが、その判断は評価された応答の偶発的な変化、判断命令、ルーブリックのスコアリングに敏感である。 既存のシステムはこれらの障害モードの重要なサブセットを検査するが、構成された審査員を監査するには、判断器と評価した項目の両方をテストする必要がある。 そこで本研究では,判断器のプロンプト,判断ルーリック,ターゲットシステム入力,ターゲットシステム出力の4面にわたって,判定感度を監査するための開発者向けワークベンチであるMAWILEを紹介する。 ユーザが提供する審査員と代表的評価項目が与えられた後、MAWILEは制御された摂動を構築し、検証し、審査員を再実行し、その結果の感度をローカライズする。 それぞれの摂動は、評定が不変であるか否か、あるいは特定の方向に変化すべきかどうかを宣言し、同じ系が無関係な変化に対するロバスト性と意味のある変化に対する感受性の両方を計測できるようにする。 MAWILEは、金のラベルを必要とせずに、バイナリ、順序、ペアの裁判官を監査する。 このツールのコードは、github.com/megagonlabs/mawile-judgeで入手できる。

関連論文リスト

• Do Audio Language Models Use Paralinguistic Evidence? Counterfactual Audits for Response Evaluation [21.291909657115607]
  パラ言語的応答評価のための対実監査を導入する。 各監査項目は、感情、韻律、あるいは感情的なシフトのタイミングを変化させながら固定された転写文を保持する。 これにより、異なる判断失敗の原因を特定する有用な診断状態が得られる。
  論文  参考訳（メタデータ） (2026-08-07T02:24:12Z)
• Bias in the Loop: Auditing LLM-as-a-Judge for Software Engineering [0.0]
  大規模な言語モデルは、コードのアーティファクトを評価するために裁判官としてますます使われています。 現在のプラクティスには、信頼性とバイアスの原則的な説明が欠けている。 計測ファーストレンズを用いたLCM-as-a-Judgeの符号化について検討する。
  論文  参考訳（メタデータ） (2026-04-18T02:35:05Z)
• Judge Reliability Harness: Stress Testing the Reliability of LLM Judges [1.1699027359021665]
  Judge Reliability Harnessは、LCM判事の信頼性をテストする検証スイートを構築するためのオープンソースライブラリである。 安全性,説得性,誤用,エージェント行動の4つのベンチマークで,最先端の4つの審査員を評価した。
  論文  参考訳（メタデータ） (2026-03-05T17:27:07Z)
• Validating LLM-as-a-Judge Systems under Rating Indeterminacy [65.137380612741]
  評価の不確定性の下でLLM-as-a-judgeシステムを検証するための枠組みを提案する。 本研究では, 強制選択評価指示に応答する際の評価の不確定性を人間とLLMがどう解決するかの相違が, 偏見の検証に大きく寄与することを示した。
  論文  参考訳（メタデータ） (2025-03-07T22:09:47Z)
• Judge as A Judge: Improving the Evaluation of Retrieval-Augmented Generation through the Judge-Consistency of Large Language Models [68.92020689188887]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) に対する幻覚を緩和する効果を証明している。 既存の自動評価メトリクスは、トレーニングと評価の間にRAGモデルによって生成されたアウトプットを正確に評価することはできない。 本稿では,RAGモデルのより正確な評価を実現するため,LCMの強化を目的とした判断一貫性(ConsJudge)手法を提案する。
  論文  参考訳（メタデータ） (2025-02-26T04:50:43Z)
• Verdict: A Library for Scaling Judge-Time Compute [5.468405526095168]
  Verdictは、自動評価器の精度、信頼性、解釈性を高めるために、判断時間計算をスケールするためのオープンソースのライブラリである。 評決は、マグニチュードの大きな微調整された審査員との競争を成し遂げる。
  論文  参考訳（メタデータ） (2025-02-25T09:26:44Z)
• JudgeBench: A Benchmark for Evaluating LLM-based Judges [61.048125269475854]
  judgeBenchは、知識、推論、数学、コーディングにまたがる挑戦的な応答ペアに関するLSMベースの判断を評価するためのベンチマークである。 審査員、微調整された審査員、マルチエージェントの審査員、報酬モデルに関する包括的な評価は、審査員ベンチが以前のベンチマークよりもかなり大きな課題を課していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T17:58:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。