論文の概要: Rubrics on Trial: Evolving Rubrics from a Single Query via Synthetic Pairwise Evidence
- arxiv url: http://arxiv.org/abs/2607.15092v1
- Date: Thu, 16 Jul 2026 15:01:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:33.152989
- Title: Rubrics on Trial: Evolving Rubrics from a Single Query via Synthetic Pairwise Evidence
- Title（参考訳）: トライアルのルーブリック:合成ペアワイズエビデンスによる単一クエリからのルーブリックの進化
- Abstract要約: 既存のアプローチは、人書きのルーブリック、好みのデータ、サンプリングされたレスポンスから監督されることが多い。
外部アノテーションやモデルトレーニングなしで空のセットからルーブリックセットを進化させる、クエリのみのフレームワークを導入します。
5つのベンチマークスイートの実験では、Trialでの好みの有効性が示されている。
- 参考スコア（独自算出の注目度）: 21.413257942637888
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Rubrics provide structured, fine-grained signals for training and evaluating large language models (LLMs). Yet reliable query-specific rubrics are difficult to construct. Existing approaches often derive supervision from human-written rubrics, preference data, or sampled responses. Direct query-to-rubric generation avoids these resources, but provides no explicit check that a plausible rubric is useful. Such a rubric may fail to distinguish answer quality, reward an optional style, or penalize a valid alternative strategy. We introduce Rubrics on Trial, a query-only framework that evolves a rubric set from an empty set without external annotations or model training. It derives supervision solely from synthetic rubric-conditioned response pairs and validates each proposed rubric before adding it, screening out non-discriminative, over-specific, and style-only candidate rubrics. Experiments across five preference benchmark suites demonstrate the effectiveness of Rubrics on Trial, which achieves the best average accuracy and leads on six of seven evaluation sets.
- Abstract（参考訳）: ルーブリックは、大きな言語モデル(LLM)を訓練し評価するための、構造化されたきめ細かな信号を提供する。
しかし、信頼性の高いクエリ特化ルーブリックの構築は困難である。
既存のアプローチは、人書きのルーブリック、好みのデータ、サンプリングされたレスポンスから監督されることが多い。
直接クエリ・トゥ・ルーブリック生成はこれらのリソースを避けるが、可算ルーブリックが有用であることを示す明示的なチェックは提供しない。
このようなルーリックは、答えの品質を区別したり、任意のスタイルに報酬を与えたり、有効な代替戦略を罰することができない。
外部アノテーションやモデルトレーニングなしで空のセットからルーブリックセットを進化させるクエリのみのフレームワークであるRubrics on Trialを紹介します。
合成ルビリック条件の応答対のみを監督し、それを追加する前にそれぞれのルビリックを検証し、非識別的で過度に特異的で、スタイルのみの候補ルビリックをスクリーニングする。
5つの選好ベンチマークスイートの実験では、Rubrics on Trialが最高の平均精度を実現し、7つの評価セットのうち6つに導かれることを示す。
関連論文リスト
- GenRubric: Self-Evolving Rubric Generation for Scalable LLM Evaluation [74.44235943118994]
GenRubricは、ラベルのないクエリからルーブリック生成を改善する自己進化フレームワークである。
我々はこの原理を強化学習により実現し、ルーブリック間の包括性信号とグループレベルの報酬と基準レベルの報酬を組み合わせる。
人間の注釈付きルーブリックベンチマークの実験では、自己進化は生成されたルーブリックと専門家によるルーブリックによる評価の一致を改善することが示されている。
論文 参考訳（メタデータ） (2026-08-30T15:39:39Z) - APTER: Adaptive Post-Training with Expert-Grounded Rubrics [23.84845758379717]
APTERは、構造化されたドメイン知識を、特別な複雑な推論のためのきめ細かい評価、最適化、診断に統合するフレームワークである。
APTERは、対応するベースモデルの数学平均と医学平均を、それぞれ15.86点と8.04点まで改善している。
論文 参考訳（メタデータ） (2026-08-14T11:42:29Z) - Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。
その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
論文 参考訳（メタデータ） (2026-06-17T17:54:04Z) - Provably Efficient Personalized Multi-Objective Bandits with Proactive Conversational Queries [24.496126767935937]
ユーザクエリが構造化された嗜好信号を提供する,プロアクティブなクエリベースのフレームワークを形式化する。
提案手法は,事前の嗜好を意識したMO-MAB法よりも,提案手法により優先推定が促進され,後悔のスケーリングが向上することを証明する。
論文 参考訳（メタデータ） (2026-06-07T02:19:59Z) - QUBRIC: Co-Designing Queries and Rubrics for RL Beyond Verifiable Rewards [68.15832368034815]
クエリとルーブリックを共同設計するフレームワークを提案する。
QUBRICはSFTベースラインよりもアリーナハードで+5.5ポイントのゲインを達成している。
論文 参考訳（メタデータ） (2026-06-02T17:53:04Z) - TopBench: A Benchmark for Implicit Prediction and Reasoning over Tabular Question Answering [80.93487993878836]
現実世界のクエリの一般的なクラスは暗黙的に予測され、単に検索するのではなく、歴史的パターンから観測されていない回答を推測する必要がある。
これらのクエリには、潜在意図を認識することと、大規模テーブル上での信頼性の高い予測推論という2つの課題がある。
単点予測から意思決定,処理効果分析,複雑な推論に至るまで,4つのサブタスクにわたる779のサンプルからなるベンチマークであるTopBenchを紹介する。
論文 参考訳（メタデータ） (2026-04-30T16:22:51Z) - RubricRAG: Towards Interpretable and Reliable LLM Evaluation via Domain Knowledge Retrieval for Rubric Generation [11.21565372620296]
大規模言語モデル(LLM)は、スカラースコアや選好を出力する自動グレーダを使用して、ますます評価され、時には訓練される。
この解釈可能性の欠如は、モデル開発、データセットキュレーション、高レベルのデプロイメントに対する有用性を制限している。
本稿では,関連するクエリから推論時にルーリックからドメイン知識を抽出するシンプルな戦略RAGを紹介する。
論文 参考訳（メタデータ） (2026-03-21T17:10:14Z) - Hypothesis-Conditioned Query Rewriting for Decision-Useful Retrieval [39.146761527401424]
Retrieval-Augmented Generation (RAG)は、外部の非パラメトリック知識を基礎として、Large Language Models (LLM)を改善する。
既存のRAGメソッドは1つの初期クエリに依存しており、多くの場合、決定関連エビデンスよりもトピック的な関連性を好む。
本稿では,RAGをトピック指向検索からエビデンス指向検索へ再帰させる訓練不要な事前検索フレームワークであるHCQRを提案する。
論文 参考訳（メタデータ） (2026-03-19T15:15:58Z) - Learning Query-Specific Rubrics from Human Preferences for DeepResearch Report Generation [80.12435680651488]
本稿では,DeepResearchレポート生成に適した,人間の参照型クエリ専用ルーリックジェネレータを訓練するためのパイプラインを提案する。
まず,DeepResearchスタイルのアノテートクエリのデータセットを,ペアレポートよりも人間の好みで構築し,強化学習を通じてルーリックジェネレータを訓練する。
提案したルーリック・ジェネレータは既存のルーリック・デザイン・ストラテジーよりも、より差別的で優れたヒューマン・アライメント・インテリジェンスを実現することを実証的に示す。
論文 参考訳（メタデータ） (2026-02-03T15:09:56Z) - OpenRubrics: Towards Scalable Synthetic Rubric Generation for Reward Modeling and LLM Alignment [38.1645520104553]
OpenRubricsは,ルーブリック世代とルーブリックベースの報酬モデルをトレーニングするための,大規模な(プロンプト,エクスプリシット)ペアのコレクションである。
識別的・包括的評価信号を引き出すために,優先的・拒否的な応答を対比することにより,厳格な規則(単純質)と原則(簡易品質)の両方を導出するコントラスト生成(CRG)を導入する。
この結果から,ごみは費用対人評価と自動報酬モデリングのギャップを狭めるような,スケーラブルなアライメント信号を提供することがわかった。
論文 参考訳（メタデータ） (2025-10-09T03:31:26Z) - Contextualized Evaluations: Judging Language Model Responses to Underspecified Queries [85.81295563405433]
本稿では,不特定クエリを取り巻くコンテキストを合成的に構築し,評価中にそれを提供するプロトコルを提案する。
その結果,1) 評価から得られた結論の変更,2) モデルペア間のベンチマークランキングの反転,2) スタイルのような表面レベルの基準に基づいて判断を下すナッジ評価,3) 多様なコンテキスト間でのモデル行動に関する新たな洞察の提供,などが確認できた。
論文 参考訳（メタデータ） (2024-11-11T18:58:38Z) - A Semantic-based Method for Unsupervised Commonsense Question Answering [40.18557352036813]
ラベル付きタスクデータに依存しないため、教師なしのコモンセンス質問応答は魅力的である。
教師なしコモンセンス質問応答のためのSemantic-based Question Answering法(SEQA)を提案する。
論文 参考訳（メタデータ） (2021-05-31T08:21:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。