論文の概要: RubricWorld: World Model-Guided Rubric Optimization for LLM Graders
- arxiv url: http://arxiv.org/abs/2611.01986v1
- Date: Sun, 01 Nov 2026 15:22:37 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 20:17:44.288804
- Title: RubricWorld: World Model-Guided Rubric Optimization for LLM Graders
- Title（参考訳）: ルーブリックワールド:LLMグレーダのための世界モデル誘導ルーブリック最適化
- Abstract要約: 本稿では,過去の編集評価から学習するフレームワークを提案する。
その世界モデルは、現在の状態に基づいて、編集の修正とスコア境界でのレートを予測する。
27回中20回で最高得点を記録した。
- 参考スコア（独自算出の注目度）: 36.65444139267064
- License:
- Abstract: Rubric optimization improves LLM grading by revising scoring instructions while keeping the grader's parameters fixed. Existing optimizers often judge edits by aggregate validation performance, limiting the supervision they retain about which errors an edit corrects or introduces. Testing each candidate also requires rescoring validation answers, which limits how many edits can be explored within a fixed budget. We propose RubricWorld, a framework that learns from previous edit evaluations to guide further search. Its world model predicts an edit's correction and degradation rates at score boundaries, conditioned on the current rubric state. The training signal comes from paired grading results: scores for the same answers before and after an edit. Predictions select one candidate for direct evaluation, and held-out confidence bounds determine whether it corrects enough target errors while keeping new errors within prespecified limits. Measured effects update the model even when the edit is rejected. Across EIR (National), ASAP2.0, and ASAP-SAS with three frozen LLM graders, RubricWorld achieves the highest score in 20 of 27 metric comparisons. On ASAP2.0, it raises gpt-5-mini accuracy from 18.20% with the original rubric to 46.70%, exceeding the strongest baseline, APO, by 22.60 percentage points. code will be released upon acceptance.
- Abstract（参考訳）: ルーブリック最適化は、グレーダのパラメータを固定しながらスコアリング命令を変更することで、LLMグレーディングを改善する。
既存のオプティマイザは、アグリゲートバリデーションのパフォーマンスによって編集を判断し、どのエラーが修正されたか、あるいは導入されたかを監督する。
それぞれの候補をテストするには、検証回答の修正も必要だ。
本稿では,以前の編集評価から学習したフレームワークであるRubricWorldを提案する。
その世界モデルは、現在のルーリック状態に基づいて、スコア境界における編集の補正と劣化率を予測する。
トレーニング信号は、ペアのグレーティング結果(編集前後の同じ回答のスコア)から得られる。
予測は、直接評価の候補を1つ選択し、ホールドアウトされた信頼境界は、新しいエラーを予め指定された限界内に保持しながら、十分なターゲットエラーを修正するかどうかを決定する。
評価された効果は、編集が拒否された場合でもモデルを更新する。
Across EIR (National), ASAP2.0, ASAP-SAS with three frozen LLM grader, RubricWorld は27項目中20点中20点中20点中20点を達成している。
ASAP2.0では、gpt-5-miniの精度が18.20%から46.70%に上昇し、最強のベースラインであるAPOを22.60ポイント上回っている。
コードは受理後 解放される
関連論文リスト
- Make Every Expansion Count: Learning to Search Efficiently in LLM Code Repair [63.277419653843594]
修正プログラムの生成とテストの前に編集を優先する学習ポリシであるCodeTriageを紹介する。
ホールドアウトの修理タスクでは、CodeTriageは、各メトリックで最強のベースラインよりも21%少ないプログラム修正と12%少ないアウトプットトークンの修正を見つける。
論文 参考訳（メタデータ） (2026-10-11T20:19:05Z) - SAGE: A Statistical Acceptance Gate for Self-Evolving Agents [17.727663090075463]
自己進化型エージェント(SAGE)の統計的受容ゲートを提案する。
SAGEはベースラインの編集のサブセットのみをコミットし、利得が信頼できないものや、壊れたアイテムによって購入されるものをフィルタリングする。
全20セットで最高得点を記録し、LiveMathは34.15から48.78に上昇した。
論文 参考訳（メタデータ） (2026-09-28T18:07:45Z) - Contrastive Reflection for Iterative Prompt Optimization [0.6533652962118279]
エージェントIRの反復的プロンプト最適化フレームワークであるContrastive Reflectionを提案する。
フレームワークをツリーベースのスライスセレクタでインスタンス化するが、コントリビューションはツリー自体よりもコントラストループである。
論文 参考訳（メタデータ） (2026-06-29T19:16:07Z) - Understanding Robustness of Model Editing in Code LLMs: An Empirical Study [1.5624785508022727]
本稿では,5つの最先端モデル編集手法の体系的研究を行う。
これらの手法を3つの主要なオープンソースコードLLM、CodeLlama、CodeQwen1.5、DeepSeek-Coderに適用する。
インスタント編集はモデル性能を常に劣化させ、構文的妥当性は86ポイントまで低下し、機能的正しさは最高のパフォーマンス設定でも45ポイントまで低下する。
論文 参考訳（メタデータ） (2025-11-05T04:58:13Z) - The Mirage of Model Editing: Revisiting Evaluation in the Wild [70.17413507444704]
我々は、広く使われている質問応答(QA)データセットに対応する新しいベンチマークであるQAEditと、タスクに依存しない評価フレームワークであるWILDを紹介する。
単一の編集実験により、現在行われている編集手法は、以前報告したよりもかなり悪い結果が得られた。
論文 参考訳（メタデータ） (2025-02-16T15:57:55Z) - Converge to the Truth: Factual Error Correction via Iterative
Constrained Editing [30.740281040892086]
最小限の編集で事実誤り訂正(FEC)を行う新しい手法であるVENCEを提案する。
VENCEは、FEC問題を目標密度関数に対する反復サンプリング編集動作として定式化する。
公開データセットでの実験では、VENCEは以前の最遠距離で監督された手法よりもよく測定されたSARIの基準を5.3(または11.8%の相対的な改善)改善している。
論文 参考訳（メタデータ） (2022-11-22T10:03:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。