論文の概要: Evaluating Rubric Generation with Interventional Transfer
- arxiv url: http://arxiv.org/abs/2610.10809v1
- Date: Wed, 07 Oct 2026 19:12:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.63906
- Title: Evaluating Rubric Generation with Interventional Transfer
- Title（参考訳）: インターベンショナルトランスファーによるゴム生成の評価
- Abstract要約: 本稿では,2つのルーリックが一緒に動けば類似するという考えに基づいて,ルーリック生成の評価手法を提案する。
我々は, GPT-5.6-Terra からの応答を評価するために, Qwen3.8-27B, Deepseek-V4-Flash, Opus-5 が生成した潤滑剤の非対称性を示す。
- 参考スコア（独自算出の注目度）: 5.385300572539634
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Instance-specific rubrics are common in AI benchmarks where reliable evaluation requires specific expert knowledge. This approach is difficult to scale, prompting research into the generation of rubrics with large language models (LLMs). However, even when expert rubrics are available as references, it is unclear how to productively evaluate the quality of generated rubrics at scale. In this paper, we introduce a method for the evaluation of rubric generation, which we call Interventional Transfer (IT), based on the idea that two rubrics are similar if they move together when a response is perturbed to pass/fail one of them. In contrast to existing approaches for evaluation of rubric generation, we argue that different forms of interventional transfer can be used to evaluate the utility of generated rubrics for different tasks. For instance, we apply this approach in a case study on HealthBench, where we demonstrate an asymmetry in rubrics generated by Qwen3.8-27B, Deepseek-V4-Flash, and Opus-5, used to evaluate responses from GPT-5.6-Terra. Perturbations that degrade responses according to the generated/expert rubric transfer into lower scores on the corresponding expert/generated rubric, but perturbations that improve on one rubric do not reliably transfer into higher scores on the other. We argue that this finding has implications for the usage of LLM-generated rubrics for performance monitoring and hill-climbing. We contrast our approach with existing approaches for rubric evaluation, which do not surface the same asymmetry that we observe.
- Abstract（参考訳）: インスタンス固有のルーブリックは、信頼できる評価が特定の専門家の知識を必要とするAIベンチマークで一般的である。
このアプローチは拡張が難しいため,大規模言語モデル(LLM)を用いたルーブリック生成の研究が促進される。
しかし、専門家のルーリックが参考として利用できるとしても、どのようにして生成ルーリックの品質を大規模に評価するかは明らかでない。
本稿では,2つのルーリックが相互に協調して動き,応答が摂動して1つのルーリックを通過/失敗する場合に類似するという考えから,インターベンショナルトランスファー (IT) と呼ぶルーリック生成の評価手法を提案する。
既存のルーブリック生成評価手法とは対照的に,異なる形態の介入伝達が,異なるタスクに対して生成されたルーブリックの有用性を評価するのに有効である,と論じる。
例えば、この手法をHealthBenchのケーススタディに適用し、GPT-5.6-Terraからの応答を評価するために使用されるQwen3.8-27B、Deepseek-V4-Flash、Opus-5によって生成された潤滑剤の非対称性を示す。
生成された/熟練したルーリック変換に従って応答を低下させる摂動は、対応するエキスパート/生成ルーリックよりも低いスコアに移行するが、一方のルーリックを改善する摂動は、他方のルーリックよりも高いスコアに確実に移行しない。
この発見は, LLM 生成したれんが類を, 性能モニタリングや丘登りに利用することの意義を論じる。
我々は、我々のアプローチと、観測したのと同じ非対称性を表面化しない既存のルーブリック評価のアプローチとを対比する。
関連論文リスト
- GenRubric: Self-Evolving Rubric Generation for Scalable LLM Evaluation [74.44235943118994]
GenRubricは、ラベルのないクエリからルーブリック生成を改善する自己進化フレームワークである。
我々はこの原理を強化学習により実現し、ルーブリック間の包括性信号とグループレベルの報酬と基準レベルの報酬を組み合わせる。
人間の注釈付きルーブリックベンチマークの実験では、自己進化は生成されたルーブリックと専門家によるルーブリックによる評価の一致を改善することが示されている。
論文 参考訳（メタデータ） (2026-08-30T15:39:39Z) - Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation [40.2978746802106]
LLM審査員は、きめ細かいルックスチェックリストに対する反応をますます評価している。
現在のメソッドは通常、それぞれを別々の推論コールで評価する。
その結果,どのルーリックが同一であるかによって,1つのルーリックシフトの判定が行われることがわかった。
我々は、4つの制御された操作を通して干渉を探索する測定フレームワークを開発した。
論文 参考訳（メタデータ） (2026-08-05T03:35:29Z) - Can LLMs Write Reliable Rubrics? A Meta-Evaluation for Experiment Reproduction [38.170020271877085]
紙の再生のためのLCM生成ルーブリックの最初の体系的メタ評価について述べる。
ルーブリックをチェックリストスタイルのフォーマットに再構成し、2つのバックボーンモデル間で4世代設定を評価する。
論文 参考訳（メタデータ） (2026-07-14T14:52:42Z) - Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。
その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
論文 参考訳（メタデータ） (2026-06-17T17:54:04Z) - ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。
この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。
ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
論文 参考訳（メタデータ） (2026-06-02T06:58:54Z) - Generating and Refining Dynamic Evaluation Rubrics for LLM-as-a-Judge [15.283206722883149]
人間のアノテーションを使わずに, きめ細かい評価文を自動的に生成する手法を提案する。
トレーニング不要な手法では,データセット固有およびインスタンス固有の粒度で潤滑物を生成する。
本稿では,メタジャッジ報酬信号を用いて,ごみ発生モデルを反復的に微調整する手法を提案する。
論文 参考訳（メタデータ） (2026-05-28T20:59:45Z) - Quantifying the Statistical Effect of Rubric Modifications on Human-Autorater Agreement [50.34437999083224]
オートレーダは、評価と自動モデレーションコンテンツにますます使われています。
ヒトとオートレーダの両方に提示されるルーブリックの修正がスコアアグリーメントにどのように影響するかは、統計学的に限定されている。
論文 参考訳（メタデータ） (2026-05-07T13:55:11Z) - ReviewGrounder: Improving Review Substantiveness with Rubric-Guided, Tool-Integrated Agents [50.27474750319121]
公式ガイドライン、論文の内容、人間によるレビューから派生した、紙固有のルーリックに従ってテキストをレビューする。
本稿では、公式ガイドライン、論文の内容、人手によるレビューに基づいて、レビューテキストを評価するベンチマークであるREVIEWBENCHを紹介する。
本稿では,レビューを起草段階と接地段階に分解するルーリック誘導ツール統合マルチエージェントフレームワークであるREVIEWGROUNDERを提案する。
論文 参考訳（メタデータ） (2026-04-15T16:33:04Z) - RubricRAG: Towards Interpretable and Reliable LLM Evaluation via Domain Knowledge Retrieval for Rubric Generation [11.21565372620296]
大規模言語モデル(LLM)は、スカラースコアや選好を出力する自動グレーダを使用して、ますます評価され、時には訓練される。
この解釈可能性の欠如は、モデル開発、データセットキュレーション、高レベルのデプロイメントに対する有用性を制限している。
本稿では,関連するクエリから推論時にルーリックからドメイン知識を抽出するシンプルな戦略RAGを紹介する。
論文 参考訳（メタデータ） (2026-03-21T17:10:14Z) - Learning Query-Specific Rubrics from Human Preferences for DeepResearch Report Generation [80.12435680651488]
本稿では,DeepResearchレポート生成に適した,人間の参照型クエリ専用ルーリックジェネレータを訓練するためのパイプラインを提案する。
まず,DeepResearchスタイルのアノテートクエリのデータセットを,ペアレポートよりも人間の好みで構築し,強化学習を通じてルーリックジェネレータを訓練する。
提案したルーリック・ジェネレータは既存のルーリック・デザイン・ストラテジーよりも、より差別的で優れたヒューマン・アライメント・インテリジェンスを実現することを実証的に示す。
論文 参考訳（メタデータ） (2026-02-03T15:09:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。