論文の概要: From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape

• arxiv url: http://arxiv.org/abs/2606.08625v1
• Date: Sun, 07 Jun 2026 13:34:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.302825
• Title: From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape
• Title（参考訳）: 全体的評価から構造的基準へ:LLMの景観を巡って
• Authors: Hao Chen, Ziyu Han, Yukun Yan, Qingfu Zhu, Maosong Sun, Wanxiang Che,
• Abstract要約: ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。 我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
• 参考スコア（独自算出の注目度）: 79.30826980815927
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Large Language Models (LLMs) advance toward open-ended autonomous agents, the mechanisms used to evaluate and guide their behavior must evolve accordingly. This work introduces the rubric as a unifying framework capturing this evolution, characterizing rubrics as a dynamic response to successive LLM paradigm shifts that recurs across otherwise independent efforts in evaluation, reinforcement learning, and safety alignment. We define rubrics as explicit criteria sets that transform complex quality judgments into structured and actionable standards, and demonstrate that their recurrence across these research threads is not coincidental. We systematically organize existing rubric designs, examine their construction and optimization, and analyze their role across evaluation and training. Rubrics manifest at three progressively deeper levels: at the evaluative level, they decompose holistic judgments into verifiable dimensions; at the training level, they serve as dense feedback signals providing process-level guidance where scalar rewards fall short; at the intrinsic level, they emerge dynamically from model behaviors, driving self-improvement. We further assess rubric reliability across generation quality, execution fidelity, theoretical constraints, and security threats, before surveying rubric-based benchmarks across diverse domains. By rendering assessment transparent and decomposable, rubrics translate human value expectations into machine-learnable signals, serving as the enduring bridge between human intentions and machine behavior.
• Abstract（参考訳）: 大規模言語モデル(LLM)がオープンエンドの自律エージェントへと進むにつれ、その行動の評価と指導に使用されるメカニズムは進化しなくてはならない。 この研究は、ルーブリックをこの進化を捉えた統一的なフレームワークとして導入し、ルーブリックを連続的なLCMパラダイムシフトに対する動的応答として特徴付け、他の独立した評価、強化学習、安全性アライメントの取り組みに再帰させる。 我々は、複雑な品質判断を構造化され実行可能な標準に変換する明示的な基準セットと定義し、これらの研究スレッド間でのそれらの再発が偶然ではないことを実証する。 我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。 評価レベルでは、総合的な判断を検証可能な次元に分解し、訓練レベルでは、スカラー報酬が不足するプロセスレベルのガイダンスを提供する密集したフィードバック信号として機能し、本質的なレベルではモデル行動から動的に現れ、自己改善を推進します。 さらに、さまざまな領域にわたるルーリックベースのベンチマークを調査する前に、生成品質、実行の正確性、理論的制約、セキュリティ上の脅威などにわたるルーリックな信頼性を評価します。 透明で分解可能な評価をレンダリングすることで、ルーブリックは人間の期待値を機械学習可能な信号に変換し、人間の意図と機械行動の間の永続的なブリッジとして機能する。

関連論文リスト

• A Persona-Based Evaluation Framework for Pluralistic Alignment in Generative AI [0.0]
  本稿では,AI評価のための状態空間制約付きエミュレーションフレームワークを提案する。 現代の生成的アーキテクチャは、これらの評価的ペルソナを高一貫性でインスタンス化し、維持することができることを示す。 この研究は、AI評価に対するより適応的で、人間に順応し、文脈に敏感なアプローチの基礎を提供する。
  論文  参考訳（メタデータ） (2026-05-29T08:54:09Z)
• Interactive Evaluation Requires a Design Science [90.62695599188204]
  大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。 フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。 本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
  論文  参考訳（メタデータ） (2026-05-18T04:03:18Z)
• RubricEM: Meta-RL with Rubric-guided Policy Decomposition beyond Verifiable Rewards [76.17893114021757]
  長い形式のレポートを計画し、調査し、エビデンスを評価し、合成する深層研究システムには、根本的な答えがなく、多くのツール強化された決定にまたがる。 本研究では,ルーブリックは最終回答評価者だけでなく,ポリシーの実行,判断フィードバック,エージェントメモリを構成する共有インターフェースとして機能すべきである,と論じる。 我々は、段階的な政策分解とリフレクションに基づくメタ政治進化を組み合わせたルーリック誘導強化学習フレームワークEMを導入する。
  論文  参考訳（メタデータ） (2026-05-11T17:40:38Z)
• Benchmarked Yet Not Measured -- Generative AI Should be Evaluated Against Real-World Utility [9.928824688627037]
  我々は、生成AI評価は、静的なベンチマーク中心の透明性から、人間の成果軌跡に根ざしたステークホルダー、ゴール、コンテキスト条件付きユーティリティ透明性へのパラダイムシフトを必要とすると論じる。 SCU-GenEvalは,利害関係者と利害関係者のゴールマッピング,構成指標仕様,メカニズムモデリング,長手効用測定からなる4段階評価フレームワークである。
  論文  参考訳（メタデータ） (2026-05-07T18:56:07Z)
• Bridging Values and Behavior: A Hierarchical Framework for Proactive Embodied Agents [26.613956143957548]
  textitValuePlannerは階層的な認知アーキテクチャで、低レベルのアクション実行から高レベルの値スケジューリングを分離する。 我々の研究は、内在的価値をブリッジする構造的なアプローチと、自律的エージェントに対する接地行動を提供する。
  論文  参考訳（メタデータ） (2026-04-30T10:43:55Z)
• A Behavioural and Representational Evaluation of Goal-Directedness in Language Model Agents [8.007212170802807]
  本稿では,行動評価と解釈可能性に基づくモデルの内部表現の分析を統合した目標指向性評価フレームワークを提案する。 我々は,様々なグリッドサイズ,障害物密度,目標構造にまたがる最適政策に対するエージェントの評価を行った。 次に、エージェントの内部表現の環境状態とマルチステップアクション計画のデコードにプローブ法を用いる。
  論文  参考訳（メタデータ） (2026-02-09T18:00:28Z)
• OmniQuality-R: Advancing Reward Models Through All-Encompassing Quality Assessment [55.59322229889159]
  我々は,マルチタスク品質推論を連続的かつ解釈可能な報酬信号に変換する統一報酬モデリングフレームワークOmniQuality-Rを提案する。 我々は、推論強化報酬モデルデータセットを使用して、教師付き微調整のための信頼性の高いチェーンオブ思考データセットを構築します。 OmniQuality-Rは,美的品質評価,技術的品質評価,テキスト画像アライメントという3つの重要なIQAタスクで評価する。
  論文  参考訳（メタデータ） (2025-10-12T13:46:28Z)
• Auto-PRE: An Automatic and Cost-Efficient Peer-Review Framework for Language Generation Evaluation [52.76508734756661]
  Auto-PREはピアレビュープロセスにインスパイアされた自動評価フレームワークである。 人間のアノテーションに依存する従来のアプローチとは異なり、Auto-PREは自動的に3つのコア特性に基づいて評価子を選択する。 要約,非ファクトイドQA,対話生成を含む3つの代表的なタスクの実験は,Auto-PREが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-16T06:06:06Z)
• HD-Eval: Aligning Large Language Model Evaluators Through Hierarchical Criteria Decomposition [92.17397504834825]
  HD-Evalは、大規模な言語モデル評価ツールと人間の好みを反復的に調整するフレームワークである。 HD-Evalは、人間の専門家の評価思想から本質を継承し、LLMに基づく評価器のアライメントを強化する。 3つの評価領域に関する広範囲な実験は、HD-Evalのさらなる整合状態評価器の優位性を実証している。
  論文  参考訳（メタデータ） (2024-02-24T08:01:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。