Fugu-MT 論文翻訳(概要): SANE: Automated Scorer-Specific Metamorphic Testing for LLM Judges

論文の概要: SANE: Automated Scorer-Specific Metamorphic Testing for LLM Judges

arxiv url: http://arxiv.org/abs/2610.28886v1
Date: Tue, 20 Oct 2026 20:04:40 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-23 00:40:06.137822
Title: SANE: Automated Scorer-Specific Metamorphic Testing for LLM Judges
Title（参考訳）: SANE: LLM審査員のためのScorer-Specific Metamorphic Testingの自動化
Abstract要約: LLM審査員は、ベンチマーク評価、モデル選択、データキュレーション、トレーニングをますます仲介する。既存の信頼性試験法は、判定結果に期待される影響を期待するパーターブ入力を検証している。本稿では,再利用可能なエージェント命令として評価者の行動要求を符号化するエージェントベースのフレームワークであるSANEを紹介する。
参考スコア（独自算出の注目度）: 0.4464178364675689
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: LLM judges increasingly mediate benchmark evaluation, model selection, data curation, and training. Their decisions are useful only when each judge responds reliably to changes affecting its scoring criterion. Existing methods for reliability testing perturb inputs with known expected effects on judge scores. Prominent LLM-judge testing harnesses combine human-authored perturbation recipes with synthetic test generation, leaving scorer-specific recipe ideation outside the automated pipeline. This limits their use to fixed perturbations and pre-assumed scorer types. We introduce SANE, an agent-based framework that encodes behavioral requirements for stochastic evaluators as reusable agent instructions. Given a scorer specification, implementation, and representative inputs, the pipeline first identifies scorer-specific capabilities, then automatically derives perturbation recipes and expected score relations for each. SANE also defines a scorer-independent validation framework for generated judge tests. It determines whether each recipe agrees with scorer intent and whether each instantiated case realizes the recipe and supports its expected relation. Because SANE generates a recipe inventory tailored to each scorer, the number of aligned recipes grows as scorers are added. Across five domains, SANE produces 3.7 times as many validated test families as the Judge Reliability Harness (JRH) at comparable end-to-end validity and detects scorer deficiencies in every domain, including professionalism and toxicity, where JRH detects none. On faithfulness, SANE achieves strong human alignment in judge ranking: its test-suite scores rank 11 judge models consistently with human-labeled FaithBench performance (Spearman rho = 0.852), while JRH does not (rho = 0.100).
Abstract（参考訳）: LLM審査員は、ベンチマーク評価、モデル選択、データキュレーション、トレーニングをますます仲介する。これらの判断は、各審査員がその評価基準に影響を与える変化に対して確実に反応した場合にのみ有用である。既存の信頼性試験法は、判定結果に期待される影響を期待するパーターブ入力を検証している。 LLM-judgeテストハーネスは、人による摂動レシピと合成テスト生成を組み合わせることで、スコアラー固有のレシピのアイデアを自動パイプラインの外に残す。これにより、固定された摂動と想定されるスコアラータイプに制限される。確率的評価器の動作要求を再利用可能なエージェント命令として符号化するエージェントベースのフレームワークであるSANEを紹介する。スコアラー仕様、実装、代表入力が与えられた後、パイプラインはまずスコアラー固有の機能を特定し、摂動レシピと期待スコア関係を自動的に導出する。 SANEはまた、生成された判定テストのためのスコアラ非依存の検証フレームワークも定義している。それぞれのレシピがスコアリング意図と一致しているか、インスタンス化されたケースがレシピを認識し、期待される関係をサポートするかを決定する。 SANEは各スコアラーに合わせたレシピインベントリを生成するため、スコアラーを追加すると、アライメントされたレシピの数が増加する。 5つの領域にまたがって、SANEは、判定信頼性基準(JRH)の3.7倍の検証されたテストファミリーを生成し、JRHが検出しない専門性や毒性を含む各ドメインにおけるスコアの欠陥を検出する。テストスーツは、人間ラベルのFaithBenchのパフォーマンス(Spearman rho = 0.852)と一貫して11ランクの審査モデル(rho = 0.100)をスコアする。

関連論文リスト

TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文参考訳（メタデータ） (2026-09-27T06:58:39Z)
Counterfactual Bias Testing for Application Tracking System [1.007765066765576]
本稿では,タスク特化LDMエージェントを用いて,アイデンティティニュートラルベース履歴を合成し,人口統計学的治療を注入する。それは、微調整された文埋め込みモデルとコサイン類似性を通じて、ジョブ記述に対する候補をランク付けする。カウンターファクトアル(スコアデルタ、平均絶対ランク変更、フリップレート)、グループフェアネス(トップK保持、4/5/インパクト比)、メリットアウェア(リコール@K、nDCG@K、平等機会、等化オッズ)にまたがる9メトリックフェアネススイートを計算する。
論文参考訳（メタデータ） (2026-08-27T10:01:36Z)
A Judge Should Know What Changed:Construct Validity for LLM-as-a-Judge Evaluation [14.867869624585886]
評価器の構成妥当性を2次元プロファイルとして定式化する。 S と R は独立であり、スカラーの要約がすべての関連する比較を保存することはないことを示す。これらの結果から, 評価対象構造の変化に対して, 高判定基準は弱い感度で共存できることが示唆された。
論文参考訳（メタデータ） (2026-08-25T11:32:54Z)
HarnessEval-W: Agentifying the Evaluation of Visual Worlds [149.63310396189317]
HarnessEval-Wは、世界モデルのベンチマークのためのエージェント化された評価パイプラインである。 HarnessEval-Wは固定ルーブリックを適用するのではなく、評価問題を測定可能なサブプロブレムに分解する。 330件の評価事例に対して,HarnessEval-Wを18の代表的な世界モデルに適用した。
論文参考訳（メタデータ） (2026-08-17T17:43:24Z)
PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。 14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
論文参考訳（メタデータ） (2026-07-02T10:59:03Z)
A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文参考訳（メタデータ） (2026-02-04T15:13:35Z)
Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文参考訳（メタデータ） (2025-09-29T12:15:52Z)
When Judgment Becomes Noise: How Design Failures in LLM Judge Benchmarks Silently Undermine Validity [21.192000569821943]
我々は、厳密な目標と検証可能な構成がなければ、ベンチマークのランキングは、ほぼノイズの多い高信頼度ランキングを生成することができると論じる。本稿では,Arena-Hard Autoが使用するELOスタイルのアグリゲーションが崩壊し,真のランキングの不確かさをマスクすることを示す。我々の結果は、妥当性を損なう設計上の失敗を強調し、より良いスコープで信頼性に配慮したベンチマークを構築するための実用的な原則を提供する。
論文参考訳（メタデータ） (2025-09-24T16:26:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。