論文の概要: QQJ: Quantifying Qualitative Judgment for Scalable and Human-Aligned Evaluation of Generative AI

• arxiv url: http://arxiv.org/abs/2605.17382v1
• Date: Sun, 17 May 2026 10:53:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.989159
• Title: QQJ: Quantifying Qualitative Judgment for Scalable and Human-Aligned Evaluation of Generative AI
• Title（参考訳）: QQJ: 生成AIのスケーラブルでアラインな評価のための質的判断の定量化
• Authors: Marjan Veysi, Pirooz Shamsinejadbabaki, Mohammad Zare, Mohammad Sabouri,
• Abstract要約: 質的判断の定量化(QQJ)はスケーラブルで人中心的な評価フレームワークである。 QQJは、専門家が設計した多次元ルーブリックの評価をアンカーすることで、品質の定義をその実行から分離する。 テキストと画像生成に関する大規模な実験は、QQJが人間の判断とかなり強く一致していることを示す。
• 参考スコア（独自算出の注目度）: 1.5749416770494706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid progress of generative artificial intelligence has exposed fundamental limitations in existing evaluation methodologies, particularly for open-ended, creative, and human-facing tasks. Traditional automatic metrics rely on surface-level statistical similarity and often fail to reflect human perceptions of quality, while purely human evaluation, although reliable, is costly, subjective, and difficult to scale. Recent approaches using large language models as evaluators offer improved scalability but frequently lack explicit grounding in human-defined evaluation principles, leading to bias and inconsistency. In this paper, we introduce Quantifying Qualitative Judgment (QQJ), a scalable and human-centric evaluation framework that explicitly bridges the gap between human judgment and automated assessment. QQJ separates the definition of quality from its execution by anchoring evaluation in expert-designed, multi-dimensional rubrics and calibrating large language model evaluators to align with expert reasoning using a small, high-quality annotation set. This design enables consistent, interpretable, and scalable evaluation across diverse generative tasks and modalities. Extensive experiments on text and image generation demonstrate that QQJ achieves substantially stronger alignment with human judgment than traditional automatic metrics and unconstrained LLM-based evaluators. Moreover, QQJ exhibits improved stability across repeated evaluations and superior diagnostic capability in identifying critical failure modes such as hallucination and intent mismatch. These results indicate that structured qualitative judgment can be operationalized at scale without sacrificing interpretability or human alignment, positioning QQJ as a practical foundation for reliable evaluation of modern generative AI systems.
• Abstract（参考訳）: 生成人工知能の急速な進歩は、既存の評価手法、特にオープンエンド、クリエイティブ、ヒューマン対応タスクの基本的な制限を明らかにしている。 従来の自動メトリクスは、表面レベルの統計的類似性に依存しており、品質に対する人間の認識を反映しないことが多いが、純粋に人間の評価は信頼できるが、コストが高く、主観的で、スケールが難しい。 大規模な言語モデルを評価手段として使用する最近のアプローチは、スケーラビリティの向上を提供するが、人間の定義した評価原則に明確な根拠を欠くことが多く、バイアスと矛盾をもたらす。 本稿では,人間の判断と自動評価のギャップを明確に埋めるスケーラブルで人中心的な評価フレームワークであるQuantify Qualitative Judgment (QQJ)を紹介する。 QQJは、専門家が設計した多次元ルーブリックの評価をアンロックし、大言語モデル評価器を校正することで、その実行と品質の定義を分離し、小型で高品質なアノテーションセットを用いて専門家の推論と整合する。 この設計は、様々な生成タスクやモダリティに対して一貫性があり、解釈可能で、スケーラブルな評価を可能にする。 テキストと画像生成に関する大規模な実験により、QQJは従来の自動測定値や制約のないLLMに基づく評価値よりも、人間の判断とかなり強く一致していることが示されている。 さらに、QQJは、繰り返し評価による安定性の向上と、幻覚や意図的ミスマッチといった致命的な障害モードを識別する優れた診断能力を示す。 これらの結果から, 構造化質的判断は, 解釈可能性や人間のアライメントを犠牲にすることなく, 大規模に行うことが可能であることが示唆された。

関連論文リスト

• Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
  私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。 本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。 提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
  論文  参考訳（メタデータ） (2026-04-21T14:21:15Z)
• Markovian ODE-guided scoring can assess the quality of offline reasoning traces in language models [16.178449605148995]
  オフライン評価フレームワークであるMarODEを導入し、トレースの推論に品質スコアを割り当てる。 その効果は、人中心の摂動と人間の判断を用いて評価される。 大規模な評価では、MarODEは既存のベースラインを250%以上上回っている。
  論文  参考訳（メタデータ） (2026-03-02T08:09:33Z)
• An Automatic Question Usability Evaluation Toolkit [1.2499537119440245]
  多重選択質問(MCQ)を評価するには、労働集約的な人的評価か、可読性を優先する自動化方法のいずれかが必要となる。 MCQの総合的かつ自動化された品質評価のために,IWFルーブリックを利用したオープンソースツールであるSAQUETを紹介する。 94%以上の精度で,既存の評価手法の限界を強調し,教育評価の質向上の可能性を示した。
  論文  参考訳（メタデータ） (2024-05-30T23:04:53Z)
• ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
  生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。 認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。 本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性,スコーリング基準,差別化,ユーザエクスペリエンス,責任,スケーラビリティの6つの柱からなる。
  論文  参考訳（メタデータ） (2024-05-28T22:45:28Z)
• Calibrating LLM-Based Evaluator [92.17397504834825]
  マルチステージで勾配のないアプローチであるAutoCalibrateを提案し,LLMに基づく評価器を人間の好みに合わせて調整・調整する。 人間の嗜好を明示的にモデル化する代わりに、まず暗黙的に人間のラベルに含めます。 複数のテキスト品質評価データセットに関する実験は、校正による専門家評価との相関性を大幅に改善したことを示す。
  論文  参考訳（メタデータ） (2023-09-23T08:46:11Z)
• Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
  人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
  論文  参考訳（メタデータ） (2023-06-18T09:54:33Z)
• Dynamic Human Evaluation for Relative Model Comparisons [8.843915018287476]
  本研究では,相対的な比較設定で生成した出力を評価する際に,人間のアノテーションの必要個数を動的に測定する手法を提案する。 シミュレーションとクラウドソーシングのケーススタディにおいて,より優れたモデルを決定するための複数のラベル付け戦略と手法を評価するために,人間評価のエージェントベースフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-15T11:32:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。