論文の概要: How to Run Statistics over LLM Judges and Trust the Results: Calibrated Inference for Small-Sample AI Evaluation with evalstats

• arxiv url: http://arxiv.org/abs/2609.35815v1
• Date: Sun, 20 Sep 2026 16:49:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.849511
• Title: How to Run Statistics over LLM Judges and Trust the Results: Calibrated Inference for Small-Sample AI Evaluation with evalstats
• Title（参考訳）: LLM審査員よりも統計を実行し、結果を信頼する方法:evalstatsを用いた小さなサンプルAI評価のための校正推論
• Abstract要約: 混在型AI審査員設計の統計的解析のためのガイダンスとツールについて述べる。 我々は、小さなサンプルAI評価に使用するCI、p値、FWER補正法を推奨する。 このレコメンデーションをオープンソースのPythonパッケージであるevalstatsにパッケージし、自動的にキャリブレーションされたメソッドを選択する。
• 参考スコア（独自算出の注目度）: 7.578368459974474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Researchers across academia increasingly base significance claims on LLM judge scores and small-sample AI evaluations. Yet without well-calibrated confidence intervals (CIs), hypothesis tests, and judge-bias corrections, such claims are unreliable. We address these issues in several contributions. First, we find that running statistics over raw LLM judge scores leads to inflated false positives: counterintuitively, for many inter-rater agreement metrics, false positive risk peaks at "almost perfect" human-LLM agreement. To help researchers understand how to run statistics over LLM judges responsibly, we present guidance and tooling for the statistical analysis of mixed human-AI judge designs, and implement nine hypothesis tests via prediction-powered inference (PPI), including the first known PPI corrections for four rank-based tests (Wilcoxon signed-rank, Mann-Whitney U, and omnibus variants). To keep PPI++ stable with small human-labeled calibration sets, we introduce bootstrap-adaptive power tuning, which shrinks the estimated weight toward a target estimated from the labeled data, and accounts for that weight's own sampling variance. Second, through Monte Carlo simulations, we derive recommendations for what CI, p-value, and FWER correction methods to use for small-sample AI evaluations (N<100), and warn researchers against bootstrap CIs. We package these recommendations into evalstats, an open-source Python package that selects calibrated methods automatically, and demonstrate it in three scenarios, including one where a real LLM judge validated at "substantial agreement" would have led a researcher to publish a spurious finding. evalstats is publicly available at https://github.com/ianarawjo/evalstats.
• Abstract（参考訳）: 学界の研究者たちは、LLMの審査結果と小さなサンプルAI評価に、ますます重要視されている。 しかし、よく校正された信頼区間(CI)、仮説テスト、および判断バイアス補正がなければ、そのような主張は信頼できない。 これらの問題にいくつかのコントリビューションで対処する。 まず、生のLCM判定スコアに対する統計の実行は、拡散された偽陽性をもたらすことが判明した: 反故意に、多くのラター間合意指標では、偽陽性リスクは「ほぼ完璧」な人間-LLM合意でピークに達する。 著者らは, LLM審査員に対する統計処理の責任を負うために, 混合AI審査員設計の統計解析のためのガイダンスとツールを提示し, 4つのランクベーステスト(Wilcoxon signed-rank, Mann-Whitney U, およびOmnibus variants)の最初のPPI補正を含む, 予測駆動推論(PPI)による9つの仮説テストを実装した。 PPI++を人間ラベル付きキャリブレーションセットで安定に保つために、ラベル付きデータから推定されたターゲットに対する推定重量を小さくし、その重みのサンプリング分散を考慮に入れたブートストラップ適応パワーチューニングを導入する。 第2に、Monte Carloシミュレーションを通じて、小さなサンプルAI評価(N<100)に使用するCI、p値、FWER補正メソッドの推奨を導き、ブートストラップCIに対して研究者に警告する。 このレコメンデーションをオープンソースのPythonパッケージであるevalstatsにパッケージ化し、キャリブレーションされたメソッドを自動的に選択し、3つのシナリオでそれをデモします。 evalstatsはhttps://github.com/ianarawjo/evalstats.comで公開されている。

関連論文リスト

• Membership Inference via Pairwise Likelihood Ratios [3.0593723329631075]
  メンバーシップ推論攻撃(MIA)は、機械学習モデルのプライバシーリスクを監査するための標準ツールである。 Pairwise Likelihood MIA (PL-MIA) はガウス確率比統計学と人口校正とコーシー結合試験を組み合わせた統一手法である。 トレーニングに使用されていないクエリポイントと参照ポイントのペア比較から$p$-valueを取得し、Cauchyコンビネーションテストを用いてこれらの連続信号を集約する。
  論文  参考訳（メタデータ） (2026-09-11T02:38:07Z)
• Industrializing Prediction-Powered Inference: The GLIDE Library for Reliable GenAI and Agentic Systems Evaluation [2.28126966226433]
  予測駆動推論(PPI)は、双方をバイアス付き推定と有効な信頼区間に結合する。 我々は,最先端のPPI推定器を統一したオープンソースのPythonライブラリであるGLIDEを紹介する。 GLIDEには、再現可能なモンテカルロ検証スイート、メソッド選択のための実証的根拠決定ツリー、エージェント評価ケーススタディが付属している。
  論文  参考訳（メタデータ） (2026-05-29T13:10:35Z)
• Hidden Measurement Error in LLM Pipelines Distorts Annotation, Evaluation, and Benchmarking [0.20305676256390937]
  本論文は,不確実性を情報源に分解し,より多くのデータで縮小する分散を識別し,総誤差を低減するためにデザインスタディ・プロジェクションを用いる。 イデオロギーアノテーション、安全性分類、MMLUベンチマーク、および人間公認プロパガンダ監査へのアプローチの適用により、ドメインとスコアリング方法によって異なる支配的な分散源が明らかになる。
  論文  参考訳（メタデータ） (2026-04-13T14:58:15Z)
• Efficient Inference for Noisy LLM-as-a-Judge Evaluation [8.2511120576505]
  大規模言語モデル(LLM)は、生成的AI出力の自動評価器としてますます使われている。 実際には、LLMの判断は根底にある真実の完全な予測であり、体系的な非ランダムな誤りを示すことができる。
  論文  参考訳（メタデータ） (2026-01-08T22:46:26Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Bayesian Prediction-Powered Inference [62.2436697657307]
  予測駆動推論(英: Prediction-powered Inference, PPI)は、人間ラベル付き限られたデータに基づいて統計的推定を改善する手法である。 本稿では,ベイズ推定に基づくPPIのためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-09T18:08:58Z)
• Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
  自動生成関連判定(QPP-GenRE)を用いた新しいクエリ性能予測(QPP)フレームワークを提案する。 QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。 我々は,オープンソースの大規模言語モデル (LLM) を用いて,科学的妥当性を確保することにより,項目の関連性を予測する。
  論文  参考訳（メタデータ） (2024-04-01T09:33:05Z)
• Regression-aware Inference with LLMs [52.764328080398805]
  提案手法は,一般的な回帰と評価指標に準最適であることを示す。 本稿では,ベイズ最適解を推定し,サンプル応答からクローズド形式の評価指標を推定する代替推論手法を提案する。
  論文  参考訳（メタデータ） (2024-03-07T03:24:34Z)
• Sparse Feature Selection Makes Batch Reinforcement Learning More Sample Efficient [62.24615324523435]
  本稿では,スパース線形関数近似を用いた高次元バッチ強化学習(RL)の統計的解析を行う。 候補となる機能が多数存在する場合,提案手法がバッチRLをより効率的にサンプリングできるという事実に光を当てる。
  論文  参考訳（メタデータ） (2020-11-08T16:48:02Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。