論文の概要: GenRubric: Self-Evolving Rubric Generation for Scalable LLM Evaluation

• arxiv url: http://arxiv.org/abs/2608.29856v1
• Date: Sun, 30 Aug 2026 15:39:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.092198
• Title: GenRubric: Self-Evolving Rubric Generation for Scalable LLM Evaluation
• Title（参考訳）: GenRubric: スケーラブルLLM評価のための自己進化型ルーブリック生成
• Abstract要約: GenRubricは、ラベルのないクエリからルーブリック生成を改善する自己進化フレームワークである。 我々はこの原理を強化学習により実現し、ルーブリック間の包括性信号とグループレベルの報酬と基準レベルの報酬を組み合わせる。 人間の注釈付きルーブリックベンチマークの実験では、自己進化は生成されたルーブリックと専門家によるルーブリックによる評価の一致を改善することが示されている。
• 参考スコア（独自算出の注目度）: 74.44235943118994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models are increasingly used as scalable evaluators for open-ended tasks. However, many LLM judges derive query-specific criteria during scoring, leaving the evaluation requirements insufficiently specified and their coverage difficult to audit. Query-specific rubrics make these requirements explicit, but expert-written rubrics are costly to construct, while existing automatic methods typically rely on inference-time refinement or external supervision. We introduce GenRubric, a self-evolving framework that improves rubric generation from unlabeled queries without requiring additional human annotations during self-evolution. Our approach is based on rubric-induced self-consistency: independently sampled rubrics for the same query provide partial views of its latent evaluation requirements, and a comprehensive rubric should induce a response that generalizes across these complementary evaluation views. We implement this principle through reinforcement learning, combining a cross-rubric comprehensiveness signal with group-level and criterion-level rewards for rubric quality. We train GenRubric models at 4B, 8B, and 14B scales across multiple domains. Experiments on human-annotated rubric benchmarks show that self-evolution improves the agreement between evaluations induced by generated rubrics and those induced by expert-written rubrics. The improvements further generalize to held-out domains, demonstrating the potential of self-evolving rubric generation for scalable and query-specific LLM evaluation. Code and models are publicly available at https://github.com/foggpoy/GenRubric.
• Abstract（参考訳）: 大規模言語モデルは、オープンエンドタスクのスケーラブルな評価手段として、ますます利用されている。 しかし、多くのLCM審査員は、評価基準が不十分であり、その範囲を監査することが困難であるとして、採点中にクエリー固有の基準を導出する。 クエリ固有のルーブリックはこれらの要件を明確にするが、専門家によるルーブリックの構築にはコストがかかる。 我々はGenRubricを紹介した。これは、自己進化中に追加の人間のアノテーションを必要とせずに、ラベルのないクエリからルーブリック生成を改善するセルフ進化フレームワークである。 提案手法は, ルーリックによる自己整合性に基づくもので, 同じクエリに対して独立にサンプリングされたルーリックは, 潜在評価要求の部分的なビューを提供し, 包括的ルーリックは, これらの相補的評価ビューを一般化する応答を誘導する。 我々はこの原理を強化学習により実現し、ルーブリック間の包括性信号とグループレベルの報酬と基準レベルの報酬を組み合わせる。 我々はGenRubricモデルを、複数のドメインにわたる4B、8B、14Bスケールでトレーニングします。 人間の注釈付きルーブリックベンチマークの実験では、自己進化は生成されたルーブリックと専門家によるルーブリックによる評価の一致を改善することが示されている。 この改良は、拡張性およびクエリ固有のLCM評価のための自己進化型ルーブリック生成の可能性を示す、ホールドアウトドメインをさらに一般化する。 コードとモデルはhttps://github.com/foggpoy/GenRubric.comで公開されている。

関連論文リスト

• APTER: Adaptive Post-Training with Expert-Grounded Rubrics [23.84845758379717]
  APTERは、構造化されたドメイン知識を、特別な複雑な推論のためのきめ細かい評価、最適化、診断に統合するフレームワークである。 APTERは、対応するベースモデルの数学平均と医学平均を、それぞれ15.86点と8.04点まで改善している。
  論文  参考訳（メタデータ） (2026-08-14T11:42:29Z)
• Many Voices, One Reward: Multi-Role Rubric Generation for LLM Judging and Reward Modeling [39.325422496065435]
  MRRG(Multi-Role Generation)は、複数の役割から評価基準を引き出すトレーニングフリーで参照フリーなフレームワークである。 MRRGは、ペアワイズ選好の検証と、RLOスタイルのReinforcement Learning with Verifiable Rewards(RLVR)に対する報酬の提供の両方に使用できる。
  論文  参考訳（メタデータ） (2026-07-02T07:50:38Z)
• From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
  ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。 我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
  論文  参考訳（メタデータ） (2026-06-07T13:34:55Z)
• RubricRAG: Towards Interpretable and Reliable LLM Evaluation via Domain Knowledge Retrieval for Rubric Generation [11.21565372620296]
  大規模言語モデル(LLM)は、スカラースコアや選好を出力する自動グレーダを使用して、ますます評価され、時には訓練される。 この解釈可能性の欠如は、モデル開発、データセットキュレーション、高レベルのデプロイメントに対する有用性を制限している。 本稿では,関連するクエリから推論時にルーリックからドメイン知識を抽出するシンプルな戦略RAGを紹介する。
  論文  参考訳（メタデータ） (2026-03-21T17:10:14Z)
• Cluster-R1: Large Reasoning Models Are Instruction-following Clustering Agents [81.79110139097297]
  汎用埋め込みモデルは意味的類似性を認識するのに優れているが、ユーザ命令で指定されたテキストの特徴を捉えることができない。 我々は、命令追従クラスタリングを生成タスクとして再編成し、大規模推論モデルを自律的なクラスタリングエージェントとして訓練する。 我々の推論駆動学習パイプラインは、LEMがハイレベルクラスタリング命令を解釈し、対応する潜在グループを推測することを可能にする。
  論文  参考訳（メタデータ） (2026-03-06T10:15:54Z)
• Learning Query-Specific Rubrics from Human Preferences for DeepResearch Report Generation [80.12435680651488]
  本稿では,DeepResearchレポート生成に適した,人間の参照型クエリ専用ルーリックジェネレータを訓練するためのパイプラインを提案する。 まず,DeepResearchスタイルのアノテートクエリのデータセットを,ペアレポートよりも人間の好みで構築し,強化学習を通じてルーリックジェネレータを訓練する。 提案したルーリック・ジェネレータは既存のルーリック・デザイン・ストラテジーよりも、より差別的で優れたヒューマン・アライメント・インテリジェンスを実現することを実証的に示す。
  論文  参考訳（メタデータ） (2026-02-03T15:09:56Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• SedarEval: Automated Evaluation using Self-Adaptive Rubrics [4.97150240417381]
  本稿では,自己適応型ルーブリックに基づく新しい評価パラダイムを提案する。 SedarEvalは、細心の注意を払って1,000の質問から成り、それぞれが独自の自己適応型ルーリックを持っている。 我々は、人間の学級に取って代わるために、特殊評価器言語モデル(評価器LM)を訓練する。
  論文  参考訳（メタデータ） (2025-01-26T16:45:09Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。