論文の概要: Not All Criteria Matter: Importance-Aware Criteria Weighting for Rubric-Based LLM Evaluation

• arxiv url: http://arxiv.org/abs/2610.19915v1
• Date: Wed, 14 Oct 2026 10:05:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.084114
• Title: Not All Criteria Matter: Importance-Aware Criteria Weighting for Rubric-Based LLM Evaluation
• Title（参考訳）: すべての基準事項ではない:ルブリック系LCM評価における重要度基準重み付け
• Abstract要約: 本稿では,2つの重要度比較から基準の重みを導出するImportance-Aware Criteria Weighting(ICW)を提案する。 ICWは、均一な重み付けと競争的な重み付け方法より一貫して優れている。 下流の強化学習において、より良いポリシーモデルに変換される。
• 参考スコア（独自算出の注目度）: 20.571031017239005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Rubric-based evaluation assesses the responses of large language models (LLMs) by aggregating the verification results of explicit criteria, yet not all criteria matter equally. However, existing methods commonly aggregate the verification results with uniform weighting, which assigns minor and overlapping criteria the same weight as essential ones and thus produces misleading evaluation scores. Although some methods prompt an LLM to directly assign weights, direct weighting requires a holistic judgment over all criteria that LLMs struggle to make reliably. To address these limitations, we propose Importance-Aware Criteria Weighting (ICW), which derives the weights of criteria from pairwise importance comparisons made by an LLM. Specifically, ICW transforms the holistic judgment over all criteria into a series of pairwise importance comparisons, checks and revises inconsistent comparisons, and derives the weights from the principal eigenvector of the comparison matrix. Extensive experiments demonstrate that ICW consistently outperforms uniform weighting and competitive weighting methods, and translates into better policy models in downstream reinforcement learning.
• Abstract（参考訳）: 言語モデル (LLM) の応答は, 明示的基準の検証結果を集約することで評価するが, 全ての基準が等しく重要であるわけではない。 しかし、既存の手法では、検証結果を一様重み付けで集約し、マイナーな基準と重複する基準を本質的な基準と同じ重みに割り当て、誤った評価スコアを生成する。 一部の方法はLSMに直接重みを割り当てるよう促すが、直接重み付けにはLSMが確実に行うのに苦労する全ての基準について全体論的判断が必要である。 これらの制約に対処するために,LLMによる2対の重要度比較から基準の重みを導出するImportance-Aware Criteria Weighting (ICW)を提案する。 具体的には、ICWは全ての基準に対する全体論的判断を一連のペアの重要比較に変換し、矛盾した比較をチェック・修正し、比較行列の主固有ベクトルから重みを導出する。 広汎な実験により、ICWは均一な重み付けと競争的な重み付け法を一貫して上回り、下流の強化学習においてより良いポリシーモデルに変換されることを示した。

関連論文リスト

• Evaluating Criterion-Conditioned Behaviour of Large Language Models in Content Moderation [1.3629559589878444]
  本研究では,大規模言語モデル (LLM) が条件付き行動を示すか否かを検討する。 強いベンチマークパフォーマンスは、基準レベルではかなりの失敗を隠す可能性がある。 これらの知見は、基準条件付き行動を明示的に測定する評価方法の開発を促すものである。
  論文  参考訳（メタデータ） (2026-09-03T13:17:38Z)
• CriterAlign: Criterion-Centric Rationale Alignment for Code Preference Judging [95.02210956333374]
  本稿では,一対の選好評価にルーブリックに基づく判断を適応させる基準中心のフレームワークを提案する。 BigCodeRewardでは、CriterAlignはQwen2.5-VL-32Bモノリシック判事を60.4%から66.3%に改善した。
  論文  参考訳（メタデータ） (2026-05-19T10:59:19Z)
• An Interpretable and Scalable Framework for Evaluating Large Language Models [13.322241501687715]
  大規模言語モデル(LLM)の評価はますます重要になっているが、標準的なベンチマーク手法は平均精度に依存している。 アイテム応答理論(IRT)は、潜在モデル能力とアイテム特性をモデリングするための原則化されたフレームワークを提供する。 本稿では,LLM評価のための大規模化最小化原理に基づく解釈可能かつスケーラブルなフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-07T23:52:12Z)
• RankLLM: Weighted Ranking of LLMs by Quantifying Question Difficulty [102.02839046225468]
  RankLLMは質問の難しさとモデルの能力の両方を定量化する新しいフレームワークである。 複数のドメインにまたがる35,550の質問に対して30のモデルを評価する。
  論文  参考訳（メタデータ） (2026-02-12T21:28:46Z)
• CARE: Confounder-Aware Aggregation for Reliable LLM Evaluation [21.96013518286442]
  CAREは、判定スコアのための共同設立者対応アグリゲーションフレームワークである。 共有共同設立者の下で、識別可能性と有限サンプル回復に関する理論的保証を提供する。 CAREはアグリゲーションの精度を改善し、エラーを最大26.8%削減する。
  論文  参考訳（メタデータ） (2026-02-09T03:17:55Z)
• Beyond Pointwise Scores: Decomposed Criteria-Based Evaluation of LLM Responses [23.308803725940383]
  DeCEは、精度(実際の精度と妥当性)とリコール(必要な概念のカバレッジ)を分離する分解LDM評価フレームワークである。 実世界の法定QAタスクにおいて,多変量推論と引用グラウンドを含む異なるLLMを評価するために,DeCEをインスタンス化する。
  論文  参考訳（メタデータ） (2025-09-19T15:36:02Z)
• CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
  評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。 数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。 我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
  論文  参考訳（メタデータ） (2025-08-05T17:55:24Z)
• Value Compass Benchmarks: A Platform for Fundamental and Validated Evaluation of LLMs Values [76.70893269183684]
  大きな言語モデル(LLM)は驚くべきブレークスルーを達成する。 価値を人間に合わせることは 責任ある開発に欠かせないものになっています 3つの望ましい目標を達成するLLMの評価はいまだに欠けている。
  論文  参考訳（メタデータ） (2025-01-13T05:53:56Z)
• Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
  大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。 この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。 そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
  論文  参考訳（メタデータ） (2024-11-07T10:31:31Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。