論文の概要: Generating and Refining Dynamic Evaluation Rubrics for LLM-as-a-Judge

• arxiv url: http://arxiv.org/abs/2605.30568v1
• Date: Thu, 28 May 2026 20:59:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.229583
• Title: Generating and Refining Dynamic Evaluation Rubrics for LLM-as-a-Judge
• Title（参考訳）: LLM-as-a-Judgeのための動的評価ゴムの生成と精製
• Authors: Zijie Wang, Eduardo Blanco,
• Abstract要約: 人間のアノテーションを使わずに, きめ細かい評価文を自動的に生成する手法を提案する。 トレーニング不要な手法では,データセット固有およびインスタンス固有の粒度で潤滑物を生成する。 本稿では,メタジャッジ報酬信号を用いて,ごみ発生モデルを反復的に微調整する手法を提案する。
• 参考スコア（独自算出の注目度）: 15.283206722883149
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: LLM-as-a-Judge is a scalable alternative to human evaluation, yet existing rubric-based methods rely on human-annotated data such as reference answers or expert-crafted rubrics. We propose to automatically generate fine-grained evaluation rubrics without any human annotation. Our training-free method generates rubrics at dataset-specific and instance-specific granularities, achieving performance competitive with existing methods across four benchmarks. We further present a method that iteratively fine-tunes a rubric generator model via meta-judge reward signals. The fine-tuned generator outperforms all existing baselines in both pairwise and pointwise evaluation. Notably, a fine-tuned 14B rubric generator outperforms a much larger proprietary model at rubric generation, showing the effectiveness of our fine-tuning strategy.
• Abstract（参考訳）: LLM-as-a-Judgeは、人間の評価に代わるスケーラブルな代替手段であるが、既存のルーブリックベースの手法は、参照回答や専門家が作成したルーブリックのような人間の注釈付きデータに依存している。 人間のアノテーションを使わずにきめ細かな評価ルーブリックを自動生成することを提案する。 トレーニング不要な手法は,データセット固有の粒度とインスタンス固有の粒度でルーブリックを生成し,既存手法と4つのベンチマークで競合する性能を実現する。 さらに,メタジャッジ報酬信号を用いて,ごみ発生モデルを反復的に微調整する手法を提案する。 微調整ジェネレータは、ペアワイズとポイントワイズの両方の評価において、既存のベースラインをすべて上回る。 特に、細調整された14Bルーブリックジェネレータは、ルーブリック生成においてはるかに大きなプロプライエタリモデルより優れており、我々の微調整戦略の有効性を示している。

関連論文リスト

• RubricRAG: Towards Interpretable and Reliable LLM Evaluation via Domain Knowledge Retrieval for Rubric Generation [11.21565372620296]
  大規模言語モデル(LLM)は、スカラースコアや選好を出力する自動グレーダを使用して、ますます評価され、時には訓練される。 この解釈可能性の欠如は、モデル開発、データセットキュレーション、高レベルのデプロイメントに対する有用性を制限している。 本稿では,関連するクエリから推論時にルーリックからドメイン知識を抽出するシンプルな戦略RAGを紹介する。
  論文  参考訳（メタデータ） (2026-03-21T17:10:14Z)
• SimGR: Escaping the Pitfalls of Generative Decoding in LLM-based Recommendation [68.00727783181289]
  推薦システムの中核的な目的は、パーソナライズされたレコメンデーションを可能にするために、アイテムよりもユーザの好みの分布を正確にモデル化することである。 アイテムレベルの嗜好分布を推定する際に,既存の手法が必然的に系統的バイアスを生じさせることを観察する。 textbfSimply textbfGenerative textbfRecommendation (textbfSimGR)を提案する。
  論文  参考訳（メタデータ） (2026-02-08T07:26:52Z)
• Learning Query-Specific Rubrics from Human Preferences for DeepResearch Report Generation [80.12435680651488]
  本稿では,DeepResearchレポート生成に適した,人間の参照型クエリ専用ルーリックジェネレータを訓練するためのパイプラインを提案する。 まず,DeepResearchスタイルのアノテートクエリのデータセットを,ペアレポートよりも人間の好みで構築し,強化学習を通じてルーリックジェネレータを訓練する。 提案したルーリック・ジェネレータは既存のルーリック・デザイン・ストラテジーよりも、より差別的で優れたヒューマン・アライメント・インテリジェンスを実現することを実証的に示す。
  論文  参考訳（メタデータ） (2026-02-03T15:09:56Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• NLGR: Utilizing Neighbor Lists for Generative Rerank in Personalized Recommendation Systems [13.848284819312953]
  ジェネレーティブリジェネレータの近隣リストモデルは、空間におけるジェネレータのパフォーマンスを改善することを目的としている。 本稿では,既存のリストから任意の隣接リストへ柔軟にジャンプ可能な,サンプリングに基づく非自己回帰生成手法を提案する。 NLGRの有効性を実証し,NLGRをMeituanフードデリバリープラットフォームに導入することに成功している。
  論文  参考訳（メタデータ） (2025-02-10T02:06:17Z)
• Language Model Preference Evaluation with Multiple Weak Evaluators [89.90733463933431]
  PGEDは,複数のモデルに基づく評価器を用いて嗜好グラフを構築し,非循環的非競合性評価結果に対してこれらのグラフをアンサンブルし,デノテーズする手法である。 1)評価のためのモデルランキング、2)テスト時間スケーリングのための応答選択、3)モデル微調整のためのデータ選択である。
  論文  参考訳（メタデータ） (2024-10-14T01:57:25Z)
• Improving Retrieval-Augmented Code Comment Generation by Retrieving for Generation [3.123049150077741]
  本稿では,生成者のフィードバックから学習し,生成のための模範を検索するための新しい学習手法を提案する。 検索者が検索したハイスコアな例題とジェネレータが観測した低損失な例題とを合わせることで、検索者は生成したコメントの質を最も良くする例題を検索することができる。
  論文  参考訳（メタデータ） (2024-08-07T08:32:55Z)
• Flexible Generation of Preference Data for Recommendation Analysis [1.384948712833979]
  HYDRAは3つの主要な要素によって駆動される新しいデータ生成モデルである。 我々は、よく知られたベンチマークデータセットに対する広範な実験を通して、HYDRAの有効性を実証する。
  論文  参考訳（メタデータ） (2024-07-23T15:53:17Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。