Fugu-MT 論文翻訳(概要): RubriX: A Fast, Fine-Tunable Non-Autoregressive Rubric Judge

論文の概要: RubriX: A Fast, Fine-Tunable Non-Autoregressive Rubric Judge

arxiv url: http://arxiv.org/abs/2610.34875v1
Date: Mon, 26 Oct 2026 05:45:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-27 22:27:13.766203
Title: RubriX: A Fast, Fine-Tunable Non-Autoregressive Rubric Judge
Title（参考訳）: RubriX:高速かつ微調整可能な非自律的ルーブリックジャッジ
Abstract要約: 対照的言語モデル(CLM)にインスパイアされたルビリック・ジャッジであるRubriXについて紹介する。 RubriXは75.4%の精度に達し、TypeSafeのJevは57.1%、Qwen3-8B判事は49.8%となった。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Rubric-based evaluation asks which level of a rubric a response meets. It is usually done by prompting a large language model (LLM) as a judge, which needs a generative call per judgment and reads every level description, so its cost grows with the rubric. We present RubriX, a rubric judge whose architecture is inspired by contrastive language models (CLM): a LoRA-adapted encoder embeds the input and each level description, and a softmax over scaled cosine similarities gives a probability for every level without text generation. Trained on public rubric data and proprietary synthetic data, RubriX reaches 75.4% exact accuracy on held-out rubrics, against 57.1% for TypeSafe's Jev and 49.8% for a Qwen3-8B judge. On eight human-labelled benchmark sets it is within 6 percentage points of Jev's accuracy on most of them, while Jev keeps a larger lead on two and ranks responses best on average; against the results reported in the G-Eval paper, RubriX outperforms G-Eval with GPT-3.5 on every SummEval dimension and both QAGS subsets. With level embeddings cached, RubriX's latency stays at about 28 ms per judgment as level descriptions grow from 10 to 3,000 tokens, while Jev's (approximate network time subtracted) rises from 44 ms to 211 ms and the Qwen3-8B judge's from 32 ms to 516 ms, making RubriX 7.7x faster than Jev and 18.8x faster than the Qwen3-8B judge at 3,000 tokens per level.
Abstract（参考訳）: ルーブリックに基づく評価では、応答がどのレベルに収まるかを問う。通常、大きな言語モデル(LLM)を裁判官として促すことで、判断ごとに生成的な呼び出しを必要とし、すべてのレベル記述を読み取るため、そのコストはルーリックによって増大する。本稿では,言語モデル (CLM) にインスパイアされたルーリックな判断器である RubriX について述べる。LoRA 適応エンコーダは入力と各レベル記述を埋め込み,拡張されたコサイン類似性に対するソフトマックスは,テキスト生成なしですべてのレベルに確率を与える。公的なルーリックデータと独自の合成データに基づいて訓練されたRubriXは、保持されたルーリックの精度が75.4%に達し、TypeSafeのJevでは57.1%、Qwen3-8B判事では49.8%に達した。 G-Evalの論文で報告された結果に対して、RubriXはすべてのSummEval次元と両方のQAGSサブセットでG-Evalを上回り、G-EvalをGPT-3.5で上回ります。レベル埋め込みのキャッシュでは、レベル記述が10から3,000トークンに増加するにつれて、RubriXのレイテンシは約28msであり、一方、Jevの(近似ネットワーク時間の減算)ジャッジは44msから211msに上昇し、Qwen3-8Bジャッジは32msから516msに上昇し、RubriXはJevより7.7倍、Qwen3-8Bジャッジは3000トークンより18.8倍速くなった。

関連論文リスト

Jev-as-a-Judge for Brazilian Portuguese Information Retrieval: Relevance Assessment and Reranking [2.057923791344642]
Jev-as-a-judge を用いてブラジルの 4 つの IR コレクションの関連判断を生成する。関連性評価では、正確な合意は52.9%から64.9%で、コーエンのカッパの重み付けは0.52から0.82だった。 Jev は 50 Quati テストクエリでトップ1,000の BM25 候補を再発注し、nDCG@10 を 0.3329 から 0.6331 (+90.2%) に、MRR を 0.6852 から 0.9033 (+31.8%) に増やした。
論文参考訳（メタデータ） (2026-10-16T11:52:46Z)
System Attribution in LLM Brand Recommendations: Single Responses Identify the System, Aggregated Brand Profiles Do Not Transfer [0.0]
AIの可視性の監査は、デプロイされた言語モデルのブランドレコメンデーションをシステム単位のプロファイルに要約する。 2025年12月から2026年2月までに収集された6,475件の蓄えられた応答(6,324件)のコーパス上で,このようなプロファイルがシステムを記述するかどうかを検証した。
論文参考訳（メタデータ） (2026-09-23T21:57:07Z)
PaperGym: Rubric-Centered Evolution for Research-Plan Generation [69.5921878728483]
各研究論文を完全なトレーニング環境に変換する統合フレームワークであるPaperGymを紹介する。 PaperGymは論文の構造を利用しており、質問は研究目標と背景から合成され、基準は手法と実験から導かれる。レシピが固定され、PaperGym-20kで訓練されたモデルが3方向比較の58.1%を獲得し、Hub Scienceの28.2%が勝利した。
論文参考訳（メタデータ） (2026-08-31T17:31:18Z)
Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
論文参考訳（メタデータ） (2026-08-30T20:00:17Z)
K-Bench: measuring model performance on real scientific agent requests [0.0]
K-Bench 01は、K-Dense Web上のライブユーザトラフィックからサンプリングされた一ターンリクエストから構築された評価である。 3人の盲目の言語モデル判事が8次元のルーリックに対して毎回得点した。 39,934点中47.6%が8点を下回った。
論文参考訳（メタデータ） (2026-08-21T20:06:08Z)
BM25 Wins at Scale: A Scaling Study of Retrieval-Augmented Generation Paradigms [22.217909582731505]
Retrieval-augmented Generation (RAG) は語彙と密度の検索、グラフベースのインデックス、エージェント検索にまたがる。約450倍の大きさの28層を厳密に営巣するコーパスサイズの変化について検討した。公式な正確性、構築とクエリトークン、レイテンシを測定します。
論文参考訳（メタデータ） (2026-07-29T05:46:11Z)
E3: Issue-Level Backtesting for Automated Research Critique [2.141079906482723]
E3は研究論文の技術的懸念を識別する自動レビューアシスタントである。それぞれの懸念について、E3は、その性質、その位置、貢献に対する影響、そしてそれを解決する分析や証拠を報告している。
論文参考訳（メタデータ） (2026-05-26T14:21:37Z)
Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文参考訳（メタデータ） (2026-05-17T07:08:14Z)
Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators [66.83088028268318]
本稿では,テスト時間スケーリングベンチマークの判定評価について紹介する。 3つのタスク設定の下で、3つのドメイン(推論、コード生成、命令従)での判定性能を評価する。我々のベンチマークは、審査員が再評価において結果報酬モデルと競合する一方で、ビームサーチにおけるプロセス報酬モデルよりも一貫して悪いことを示している。
論文参考訳（メタデータ） (2025-04-21T17:33:23Z)
JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
論文参考訳（メタデータ） (2023-10-26T17:48:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。