論文の概要: A Four-Axis Trustworthiness Benchmark for LLM-as-Judge in Principle-Based Regulation
- arxiv url: http://arxiv.org/abs/2608.14329v1
- Date: Fri, 14 Aug 2026 14:20:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.405233
- Title: A Four-Axis Trustworthiness Benchmark for LLM-as-Judge in Principle-Based Regulation
- Title（参考訳）: LLM-as-Judgeの原則に基づく4軸信頼度ベンチマーク
- Abstract要約: 原則-ベンチ(Principle-Bench)は、イギリスのFCAの2つの原則にマッピングされた168の暗号通貨の金融宣伝シナリオである。
校正された監査可能な評価器は、実例ごとの正確な反事実属性を出力する。
キーワードカウント、3つの文変換器埋め込み器、オープンウェイト LLM-judge とキャリブレーションされたカスケードは、どの方法も4つの軸全てを支配していない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Principle-based regulation, with evaluative standards such as "fair, clear, and not misleading" or "deliver good outcomes", cannot be reduced to binary predicates, and LLM-as-judge is increasingly used as the substitute. Our position is that any such judge must be evaluated on four axes: accuracy, paraphrase robustness, adversarial robustness, and calibration. We release Principle-Bench, 168 cryptoasset financial-promotion scenarios mapped to two UK FCA principles, with paraphrase, adversarial keyword-stuffing, and boundary perturbations authored under a pre-registered rubric; the first benchmark covering all four axes for principle-based regulation. We also introduce Ceca (Calibrated Exemplar-Cluster Assessment): a calibrated, auditable assessor that emits exact per-exemplar counterfactual attributions. Across keyword counting, three sentence-transformer embedders, an open-weight LLM-judge, and a calibrated cascade, no method dominates all four axes. A 120B LLM-judge, strongest on benign inputs, loses 47 accuracy points (0.74 to 0.27) on keyword-stuffed Consumer Duty inputs: "compliance theatre." A second judge from a different model family agrees only at Cohen's kappa = 0.16 on that split, localising the failure to the model rather than the corpus. Any deployment-grade LLM-judge for principle-based regulation must report per-principle adversarial deception and post-hoc calibration alongside aggregate accuracy.
- Abstract（参考訳）: 原則に基づく規制、例えば「公正で明確で、誤解を招くことなく」評価基準や「良い結果を提供する」といった評価基準は、二項述語に還元することはできず、LLM-as-judge が代用語として使われるようになっている。
我々の立場では、そのような判断は、正確性、言い換えの堅牢性、逆の堅牢性、校正の4つの軸で評価されなければならない。
原則-ベンチ(Principle-Bench)は、英国FCAの2つの原則にマッピングされた168の暗号通貨の金融宣伝シナリオで、パラフレーズ、逆のキーワードストッフィング、および、登録済みのルーリックの下で書かれた境界摂動を含む。
また,Ceca(Calibrated Exemplar-Cluster Assessment)についても紹介する。
キーワードカウント、3つの文変換器埋め込み器、オープンウェイト LLM-judge とキャリブレーションされたカスケードは、どの方法も4つの軸全てを支配していない。
120B LLM-judgeは、良心的な入力で最強であり、キーワードで満たされたコンシューマー・デューティの入力で47の精度ポイント(0.74から0.27)を失う。
別のモデルファミリーの第2判事は、その分割に関してコーエンのカッパ = 0.16 でのみ同意し、コーパスではなくモデルへの障害をローカライズする。
原則に基づく規制のためのデプロイメントグレード LLM-judge は、集約精度とともに、原則的対位法とポストホックキャリブレーションを報告しなければならない。
関連論文リスト
- Can We Trust LLM Judges: A Study of Capability-Dependent Biases and Multi-Judge Ensemble for Bias Calibration [0.5294698352039444]
より現実的なユースケースを反映した絶対スコアリングタスクについて検討する。
モデルのタスク精度は、その判断精度を強く予測することを示す。
より有能な試験モデルは、すべての裁判官からより寛大な判断を受ける。
論文 参考訳（メタデータ） (2026-09-10T00:25:39Z) - SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳（メタデータ） (2026-07-30T16:20:58Z) - Statistically Reliable LLM-Based Ranking Evaluation via Prediction-Powered Inference [0.4230349220081444]
我々は予測パワー推論を拡張して、ランキング評価指標のバイアス補正された推定値を生成する。
Precision@Kのように、アノテーションはドキュメント単位ですが、メトリックはクエリ単位です。
ESCIベンチマークでは、Claude 3 Sonnetによる30の人的アノテーションが増加し、Precision@4推定の標準エラーが4.45から3.50に減少する。
論文 参考訳（メタデータ） (2026-06-03T18:01:08Z) - Calibrate, Don't Curate: Label-Efficient Estimation from Noisy LLM Judges [3.974554103907186]
ラベル付きキャリブレーションデータを用いたマルチジャッジ評価では、弱い判断を精度だけで破棄しないことが示されている。
本稿では, 適切なスコアリングルール下での最適校正リスクが, 付加的な判定信号が利用可能になった場合に増大しないことを示すオラクル分析による逆転について説明する。
論文 参考訳（メタデータ） (2026-05-10T18:49:58Z) - CARE: Confounder-Aware Aggregation for Reliable LLM Evaluation [21.96013518286442]
CAREは、判定スコアのための共同設立者対応アグリゲーションフレームワークである。
共有共同設立者の下で、識別可能性と有限サンプル回復に関する理論的保証を提供する。
CAREはアグリゲーションの精度を改善し、エラーを最大26.8%削減する。
論文 参考訳（メタデータ） (2026-02-09T03:17:55Z) - Understanding LLM Evaluator Behavior: A Structured Multi-Evaluator Framework for Merchant Risk Assessment [26.786161923794115]
大規模言語モデル(LLM)は、推論品質の評価手段としてますます使われていますが、その信頼性と支払いリスク設定の偏りはよく分かっていません。
本稿では,Merchant Category Code(MCC)に基づく商業リスク評価において,LCM推論を評価するための構造化マルチ評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-04T22:55:16Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z) - ConfTuner: Training Large Language Models to Express Their Confidence Verbally [58.63318088243125]
大規模言語モデル(LLM)は、科学、法律、医療といった高度な領域にますます展開されている。
LLMは、しばしば「過信」(overconfidence)として知られる、高い信頼で誤った答えを生成するために観察される。
論文 参考訳（メタデータ） (2025-08-26T09:25:32Z) - ObjexMT: Objective Extraction and Metacognitive Calibration for LLM-as-a-Judge under Multi-Turn Jailbreaks [12.396822247035578]
目的抽出とメタ認知のためのベンチマークであるexMTを提案する。
マルチターン書き起こしが与えられた場合、モデルは1文ベース目標と自己報告された自信を出力しなければならない。
正確性は金の目標と類似性によって評価され、300の校正項目で1度閾値付けされる。
論文 参考訳（メタデータ） (2025-08-23T03:32:04Z) - JudgeLRM: Large Reasoning Models as a Judge [80.07261839142548]
判断指向大規模言語モデル(LLM)のファミリーであるジャッジLRMを紹介する。
SFTの性能向上と推論要求サンプルの比率との間には負の相関が見られ、これらのシナリオにおけるSFTの限界が明らかになる。
判定LRMは、他のRLおよびSFTの変種と同様に、同じサイズでSFTチューニングベースラインを一貫して上回り、最先端の推論モデルを超えていることを示す。
論文 参考訳（メタデータ） (2025-03-31T02:18:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。