論文の概要: Rubricon: Automated Rubric Generation and Refinement for LLM Evaluation and Training

• arxiv url: http://arxiv.org/abs/2610.38220v1
• Date: Wed, 28 Oct 2026 03:18:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.944195
• Title: Rubricon: Automated Rubric Generation and Refinement for LLM Evaluation and Training
• Title（参考訳）: Rubricon:LLM評価とトレーニングのための自動潤滑・精製
• Abstract要約: ルーブリックは、答えを検証せずに、タスクに報酬を割り当てるが、スクラッチから手作業で作るのに費用がかかる。 本稿では,人間の嗜好ラベルやアノテーション,ジェネレータモデルトレーニングを必要とせず,識別性を生成するパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 3.7975956531690023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rubrics enable reward assignment on tasks without verifiable answers, but are expensive to manually produce from scratch. We present Rubricon, a pipeline that generates discriminative rubrics without requiring human preference labels, rubric annotation, or generator-model training. Using any LLM, Rubricon samples multiple rubrics, selects the most discriminative candidate, adds criteria to capture overlooked requirements or response flaws, and prunes criteria that are misaligned or shallow. Alongside LLM self-critique and test-time scaling, Rubricon uses observed criterion pass rates on example model responses to guide refinement. Across five professional, consumer, clinical, and general-use LLM benchmarks, Rubricon produces rubrics whose scores of frontier LLM responses exhibit 9% greater alignment with labor-intensive expert-authored rubrics, compared to the best alternative synthetic rubric generation method among RRD, QSRG, OpenRubrics, and agentic generation via harnesses like Codex. On HealthBench, post-training a Qwen3.5-9B model with Rubricon rubrics yields 4.5% better performance than training with rubrics from the strongest alternative synthetic rubric generator, RRD.
• Abstract（参考訳）: ルーブリックは、答えを検証せずにタスクに報酬を割り当てることができるが、スクラッチから手作業で作るのに高価である。 本稿では,人間の嗜好ラベルやルーブリックアノテーション,ジェネレータモデルトレーニングを必要とせず,識別可能なルーブリックを生成するパイプラインであるRubriconを提案する。 あらゆるLLMを使用して、複数のルーリックをサンプリングし、最も差別的な候補を選択し、見過ごされた要求や応答の欠陥を捉えるための基準を追加し、不一致または浅いプルース基準を追加します。 LLMの自己批判とテストタイムのスケーリングに加えて、Rubriconは観察された基準パスレートをモデル応答の例に使用して改善を導いた。 5つの専門的、消費者的、臨床的、一般用途のLLMベンチマークで、Rubriconは、RDD、QSRG、OpenRubrics、およびCodexのようなハーネスによるエージェント生成のうち、最も優れた代替の合成ルーリック生成方法と比較して、フロンティアLSM応答のスコアが、労働集約的な専門家によるルーリックと9%のアライメントを示すルーリックを生産している。 HealthBenchでは、Qwen3.5-9Bモデルを潤滑剤で後トレーニングすると、最も強力な代替の合成潤滑剤であるRDの潤滑剤でトレーニングするよりも4.5%性能が向上する。

関連論文リスト

• GenRubric: Self-Evolving Rubric Generation for Scalable LLM Evaluation [74.44235943118994]
  GenRubricは、ラベルのないクエリからルーブリック生成を改善する自己進化フレームワークである。 我々はこの原理を強化学習により実現し、ルーブリック間の包括性信号とグループレベルの報酬と基準レベルの報酬を組み合わせる。 人間の注釈付きルーブリックベンチマークの実験では、自己進化は生成されたルーブリックと専門家によるルーブリックによる評価の一致を改善することが示されている。
  論文  参考訳（メタデータ） (2026-08-30T15:39:39Z)
• Rubrics on Trial: Evolving Rubrics from a Single Query via Synthetic Pairwise Evidence [21.413257942637888]
  既存のアプローチは、人書きのルーブリック、好みのデータ、サンプリングされたレスポンスから監督されることが多い。 外部アノテーションやモデルトレーニングなしで空のセットからルーブリックセットを進化させる、クエリのみのフレームワークを導入します。 5つのベンチマークスイートの実験では、Trialでの好みの有効性が示されている。
  論文  参考訳（メタデータ） (2026-07-16T15:01:33Z)
• RubricRAG: Towards Interpretable and Reliable LLM Evaluation via Domain Knowledge Retrieval for Rubric Generation [11.21565372620296]
  大規模言語モデル(LLM)は、スカラースコアや選好を出力する自動グレーダを使用して、ますます評価され、時には訓練される。 この解釈可能性の欠如は、モデル開発、データセットキュレーション、高レベルのデプロイメントに対する有用性を制限している。 本稿では,関連するクエリから推論時にルーリックからドメイン知識を抽出するシンプルな戦略RAGを紹介する。
  論文  参考訳（メタデータ） (2026-03-21T17:10:14Z)
• Learning Query-Specific Rubrics from Human Preferences for DeepResearch Report Generation [80.12435680651488]
  本稿では,DeepResearchレポート生成に適した,人間の参照型クエリ専用ルーリックジェネレータを訓練するためのパイプラインを提案する。 まず,DeepResearchスタイルのアノテートクエリのデータセットを,ペアレポートよりも人間の好みで構築し,強化学習を通じてルーリックジェネレータを訓練する。 提案したルーリック・ジェネレータは既存のルーリック・デザイン・ストラテジーよりも、より差別的で優れたヒューマン・アライメント・インテリジェンスを実現することを実証的に示す。
  論文  参考訳（メタデータ） (2026-02-03T15:09:56Z)
• Automated Extract Method Refactoring with Open-Source LLMs: A Comparative Study [35.50372545468027]
  抽出方法(EMR)は、コードの可読性や保守性の改善が重要であるにもかかわらず、依然として困難で手作業がほとんどである。 オープンソースのリソース効率の高い大規模言語モデル(LLM)の最近の進歩は、そのようなハイレベルなタスクに対して、有望な新しいアプローチを提供する。
  論文  参考訳（メタデータ） (2025-10-30T13:34:41Z)
• OpenRubrics: Towards Scalable Synthetic Rubric Generation for Reward Modeling and LLM Alignment [38.1645520104553]
  OpenRubricsは,ルーブリック世代とルーブリックベースの報酬モデルをトレーニングするための,大規模な(プロンプト,エクスプリシット)ペアのコレクションである。 識別的・包括的評価信号を引き出すために,優先的・拒否的な応答を対比することにより,厳格な規則(単純質)と原則(簡易品質)の両方を導出するコントラスト生成(CRG)を導入する。 この結果から,ごみは費用対人評価と自動報酬モデリングのギャップを狭めるような,スケーラブルなアライメント信号を提供することがわかった。
  論文  参考訳（メタデータ） (2025-10-09T03:31:26Z)
• Distilling a Small Utility-Based Passage Selector to Enhance Retrieval-Augmented Generation [110.610512800947]
  Retrieval-augmented Generation (RAG)は、取得した情報を組み込むことで、大規模言語モデル(LLM)を強化する。 RAGでは、重要度は実用性に移行し、正確な回答を生成するためのパスの有用性を考慮している。 提案手法は、ランク付けよりもユーティリティベースの選択に重点を置いており、固定しきい値を必要とせずに、特定のクエリに合わせた動的通過選択を可能にする。 本実験は, 実用性に基づく選択により, RAGの柔軟性とコスト効率が向上し, 計算コストが大幅に低減され, 応答品質が向上することを示した。
  論文  参考訳（メタデータ） (2025-07-25T09:32:29Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
  SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。 まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。