論文の概要: CalibratedRubric: Task-Adaptive Rubric Banks for Open-Ended LLM Evaluation
- arxiv url: http://arxiv.org/abs/2607.29252v1
- Date: Fri, 31 Jul 2026 10:21:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.693229
- Title: CalibratedRubric: Task-Adaptive Rubric Banks for Open-Ended LLM Evaluation
- Title（参考訳）: CalibratedRubric:オープンエンドLLM評価のためのタスク適応型ルーブリックバンク
- Abstract要約: CalibratedRubricは、タイプ固有のスコアリング、ベイジアンルーブリック可測性フィルタリング、およびアイテム応答理論(IRT)ベースの銀行アセンブリを組み合わせたタスク適応フレームワークである。
財務、医療、一般、法的なベンチマーク全体にわたって、測定可能性のフィルタリングは、人間と金の合意を改善する。
IRTベースのグリーディセレクションは、ランダムセレクションよりもクロスフィットなランクフィデリティを改善する。
- 参考スコア（独自算出の注目度）: 11.869490719319577
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reliable evaluation of open-ended LLM outputs requires fine-grained rubrics, yet expert curation is costly and difficult to scale. Existing automated pipelines rely on strict judge unanimity and binary variance filters, which cannot distinguish measurable rubrics from informative ones. We introduce CalibratedRubric, a task-adaptive framework that combines type-specific scoring, Bayesian rubric-measurability filtering, and item response theory (IRT)-based bank assembly. CalibratedRubric estimates each rubric's measurability with a Beta--Bernoulli agreement posterior and uses a submodular information-coverage objective to construct compact rubric banks over the observed capability range. Across financial, healthcare, general, and legal benchmarks, measurability filtering improves human-gold agreement on JudgmentBench from $κ=0.604$ to $0.743$. IRT-based greedy selection improves cross-fitted rank fidelity over random selection across all six evaluated response blocks and requires only 49 rather than 131 rubrics to reach the target correlation on FinResearchBench decision-support tasks. Task-label perturbations further reduce system separation, confirming the practical relevance of task-adaptive scoring. These results support CalibratedRubric as an efficient, uncertainty-aware approach to open-ended LLM evaluation, with calibration gains depending on sufficient judge redundancy.
- Abstract（参考訳）: オープンエンドLCM出力の信頼性評価にはきめ細かい潤滑剤が必要であるが、専門家によるキュレーションは高価でスケールが難しい。
既存の自動パイプラインは厳密な判定一致とバイナリ分散フィルタに依存しており、測定可能なルーリックと情報的なルーリックを区別することはできない。
本稿では,タイプ別スコアリング,ベイジアンルーブリック可測性フィルタリング,アイテム応答理論(IRT)に基づく銀行組立を組み合わせたタスク適応型フレームワークCalibratedRubricを紹介する。
CalibratedRubricは、各ルーリックの可測性をベータ-ベルヌーリ合意の後方で推定し、観測能力範囲を越えてコンパクトなルーリックバンクを構築するために、サブモジュラー情報被覆の目的を用いる。
金融、医療、一般、法的なベンチマークを通じて、測定可能性のフィルタリングは、JudgmentBenchに関する人間と金の合意をκ=0.604$から0.743$に改善する。
IRTベースのgreedy selectionは、6つの評価された応答ブロックのすべてにまたがるランダムな選択よりも適合したランク忠実度を向上し、FinResearchBench決定支援タスクの目標相関に達するのに131ルーブではなく49しか必要としない。
タスクラベルの摂動はシステム分離をさらに減らし、タスク適応スコアの実践的妥当性を確認する。
これらの結果から,CalibratedRubric はオープンエンド LLM 評価に対する効率的かつ不確実性を考慮したアプローチであり,十分な判断冗長性に依存した校正ゲインが得られた。
関連論文リスト
- Claim-Level Reliability Assessment for Efficient Test-Time Reasoning [9.168249719115845]
テストタイムスケーリングの原則としてクレームレベルのファルシフィケーションを提案し、Claim-Level Reliability Assessment (CLR) を通じてそれをインスタンス化する。
CLRは、追加のソリューションサンプリングからターゲット検証まで、テスト時間計算を再配置する。
論文 参考訳（メタデータ） (2026-08-12T12:33:05Z) - SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳（メタデータ） (2026-07-30T16:20:58Z) - LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。
追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。
いくつかのベンチマークで最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-07-06T17:59:35Z) - ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。
この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。
ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
論文 参考訳（メタデータ） (2026-06-02T06:58:54Z) - PReMISE: Policy Rubrics as Measurement Specifications for LLM Judges [33.739528721872844]
役に立ち、現実的」な回答を求めるあいまいなルーリックは、事実を発明したり、ユーザーの意図に反する、洗練された答えに報いることができる。
PReMISEは, 構造的妥当性, 信頼性, 嗜好適合性, 対向ロバスト性という4つの軸に沿って, LLM-judge の下で使用されるすべてのルーブリックを監査するフレームワークである。
選好ランク選択は、ペア化された応答の判定精度を65.0%から6.8.6%に引き上げ、最強のルーリック発見ベースラインと競合し、クロスジャッジスイープの審査員のうち2人を導いた。
論文 参考訳（メタデータ） (2026-05-29T03:45:11Z) - CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。
BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
論文 参考訳（メタデータ） (2026-05-19T10:59:19Z) - ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。
我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
論文 参考訳（メタデータ） (2026-02-27T05:22:01Z) - SCOPE: Selective Conformal Optimized Pairwise LLM Judging [16.73004625486562]
大規模言語モデル (LLMs) は、コストのかかる人間の選好ラベルをペア評価で置き換えるために、裁判官としてますます使われている。
実用性にも拘わらず、LLMの審査員は、誤校正や体系的な偏見に悩まされる傾向にある。
本稿では,有限サンプル統計保証から選択的に判断するフレームワークであるSCOPEを提案する。
論文 参考訳（メタデータ） (2026-02-13T17:10:43Z) - Rethinking Rubric Generation for Improving LLM Judge and Reward Modeling for Open-ended Tasks [17.117706938140078]
本稿では,分解フィルタサイクル上に構築された潤滑精製の原理的フレームワークRDを提案する。
RRDは粗いルブリックをきめ細かな識別基準に分解し、カバー範囲を広げ、応答間の分離を鋭くする。
評価とトレーニングの両方で、大きく、一貫した利益をもたらします。
論文 参考訳（メタデータ） (2026-02-04T23:16:09Z) - Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
生成のための教師なし共形推論フレームワークを提案する。
我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。
その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
論文 参考訳（メタデータ） (2025-09-26T23:40:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。