論文の概要: Knowing When to Stop: Bayesian Optimal Stopping for LLM Evaluations

• arxiv url: http://arxiv.org/abs/2608.14425v1
• Date: Fri, 14 Aug 2026 16:06:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.430652
• Title: Knowing When to Stop: Bayesian Optimal Stopping for LLM Evaluations
• Title（参考訳）: 停止時期を知る: LLM評価のためのベイズ最適停止
• Abstract要約: オプトストップは 連続測定問題として評価を扱います 校正項目バンクを必要とせず、すべてのベンチマーク項目をサンプリング対象として保持する。 ライブあるいはふりかえりに動作し、測定されたパフォーマンスがゼロに近づくと、より慎重にサンプリングするセーフガードを含んでいる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM evaluations often use fixed sampling budgets, testing every item the same number of times even after estimates are precise. We introduce optstop, a precision-based adaptive stopping framework that treats evaluation as a sequential measurement problem: keep sampling where uncertainty remains high, and stop where estimates are precise or stable enough. The framework builds on hierarchical Bayesian inference, supports binary, ordinal, and continuous outcomes, and keeps every benchmark item eligible for sampling, without requiring a calibrated item bank. It runs live or retrospectively, and includes a safeguard that samples more cautiously as measured performance approaches zero, where rare successes matter most. In an illustrative 200-item, 10-epoch evaluation, it removes 57%-97% of planned trials across nine validation settings, with overall conclusions equivalent to the full run. These results show that LLM evaluation compute can be allocated by uncertainty rather than by fixed repetition counts, with the magnitude of savings depending on evaluation design.
• Abstract（参考訳）: LLMの評価は、しばしば固定されたサンプリング予算を使用し、見積もりが正確であった後も、すべてのアイテムを同じ回数でテストする。 評価を逐次測定問題として扱う,精度に基づく適応的停止フレームワークであるopostopを導入する。 このフレームワークは階層的ベイズ推論に基づいて構築され、バイナリ、順序、連続的な結果をサポートし、校正されたアイテムバンクを必要とせずに、すべてのベンチマーク項目をサンプリングする。 ライブあるいはふりかえりに動作し、測定されたパフォーマンスがゼロに近づくにつれて、より慎重にサンプリングするセーフガードを含んでいる。 実証的な200イテム、10エポック評価では、9つのバリデーション設定で計画されたトライアルの57%～97%を削除し、全体的な結論はフルランに相当する。 これらの結果から, LLM評価計算は, 一定反復数ではなく不確実性により配分可能であることが示唆された。

関連論文リスト

• LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
  本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。 追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。 いくつかのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:35Z)
• CELEUS: Certifiable and Efficient LLM Evaluation via E-Processes [18.54239835812274]
  リアルタイムCI構築にEプロセスを活用する,効率的なLCM評価のための認証フレームワークを提案する。 このような信号は、過去の評価スコア条件に偏りがないままであり、統計的に座屈したCIと任意の有意なCIが可能であることを証明している。 実験の結果、Celeusはベースラインよりも54-62%少ない評価サンプルを使用して目標精度に達した。
  論文  参考訳（メタデータ） (2026-06-18T18:07:42Z)
• Towards Reliable LLM Evaluation: Correcting the Winner's Curse in Adaptive Benchmarking [40.44372785257615]
  我々は,この手順レベルの目標を明示的なチューニング予算の下で推論する。 選択対応の繰り返しレポートプロトコルであるSIRENを提案する。 制御されたシミュレーションとMMLU-Proチューニング実験は、勝者ベースのレポートが楽観的であることを示している。
  論文  参考訳（メタデータ） (2026-05-07T10:18:56Z)
• Continual Calibration: Coverage Can Collapse Before Accuracy in Lifelong LLM Fine-Tuning [6.908972852063454]
  不確実性信頼性は、トップ1のパフォーマンスよりも早く、より急激に低下する可能性がある。 逐次微調整モデル上での共形被覆と校正誤差を計測し,これを実証的に検討する。 タスク固有のバッファを保持し,タスク固有の整合しきい値に適合する軽量なポストホックプロシージャであるキャリブレーション・リプレイを提案する。
  論文  参考訳（メタデータ） (2026-04-27T03:03:38Z)
• Confident Rankings with Fewer Items: Adaptive LLM Evaluation with Continuous Scores [25.638175689769934]
  IRTベースの適応テストの原則的拡張を連続有界スコア(ROUGE, BLEU, LLM-as-a-Judge)に適用する。 本稿では,信頼性の高いモデルランキングを実現するための適応的停止基準付き不確実性意識ランクアを導入し,できるだけ少数の項目をテストする。 提案手法では,各項目の2%をランダムサンプリングよりも格付け相関を0.12改善し,95%の精度で信頼度予測を行う。
  論文  参考訳（メタデータ） (2026-01-20T11:59:13Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• A Principled Approach to Randomized Selection under Uncertainty: Applications to Peer Review and Grant Funding [61.86327960322782]
  本稿では,各項目の品質の間隔推定に基づくランダム化意思決定の枠組みを提案する。 最適化に基づく最適化手法であるMERITを導入する。 MERITが既存のアプローチで保証されていない望ましい公理特性を満たすことを証明している。
  論文  参考訳（メタデータ） (2025-06-23T19:59:30Z)
• Towards Reproducible LLM Evaluation: Quantifying Uncertainty in LLM Benchmark Scores [2.886479348067378]
  我々は、大きな言語モデルの能力をテストするために設計されたベンチマークを使用して、基準方向を推論する。 本稿では,ベンチマークスコアの不確かさを定量的に定量化するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T15:04:28Z)
• Mitigating LLM Hallucinations via Conformal Abstention [70.83870602967625]
  我々は,大言語モデルが一般ドメインでの応答をいつ無視すべきかを決定するための,原則化された手順を開発する。 我々は、幻覚率(エラー率)の厳密な理論的保証の恩恵を受けるため、共形予測手法を活用して、禁忌手順を開発する。 実験によって得られた共形禁忌法は, 種々の閉書, オープンドメイン生成質問応答データセットに, 幻覚率を確実に拘束する。
  論文  参考訳（メタデータ） (2024-04-04T11:32:03Z)
• Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
  オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。 我々はLSMに答えを自己評価するように指示する。 自己評価に基づくスコアリング手法をベンチマークする。
  論文  参考訳（メタデータ） (2023-12-14T19:09:22Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。