論文の概要: From Structure to Validity: Mechanism-Guided Generation and Refinement of LLM Rubrics

• arxiv url: http://arxiv.org/abs/2610.13375v2
• Date: Wed, 14 Oct 2026 02:37:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.001975
• Title: From Structure to Validity: Mechanism-Guided Generation and Refinement of LLM Rubrics
• Title（参考訳）: 構造から有効性へ:LLMゴムのメカニズムガイドによる生成と微細化
• Abstract要約: 我々は, 基準組織, 基準運用, スコアアグリゲーションにまたがって, ルーリックデザインの体系的力学解析を行う。 本稿では,適応木構築とセマンティックファースト,応答校正機能を組み合わせた適応木探索とハイブリッド精錬(ARTS-Hybrid)を提案する。 実験により、ARTS-Hybridはエンドツーエンドの評価性能と潤滑質の両方を改善した。
• 参考スコア（独自算出の注目度）: 11.046092338580417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rubrics have been widely used to evaluate and optimize language models on open-ended tasks. However, existing work primarily focuses on generating better rubrics, with limited understanding of what makes rubric design effective. In this work, we conduct a systematic mechanistic analysis of rubric design across criterion organization, criterion operationalization, and score aggregation. Our analysis shows that structural organization enables more comprehensive criterion construction, semantic specification alone does not ensure effective criterion-level judgments, and sophisticated score aggregation provides limited additional gains. Guided by these findings, we introduce Adaptive Rubric Tree Search with Hybrid refinement (ARTS-Hybrid), which combines adaptive tree construction with semantic-first, response-calibrated refinement. Experiments across benchmarks show that ARTS-Hybrid improves both end-to-end evaluation performance and intrinsic rubric quality. Further experiments suggest that, beyond evaluation, rubrics generated by ARTS-Hybrid provide effective signals for model optimization.
• Abstract（参考訳）: ルーブリックは、オープンエンドタスクにおける言語モデルの評価と最適化に広く用いられてきた。 しかし、既存の研究は主により優れたルーリックを生成することに焦点を当てており、ルーリックデザインを効果的にするための知識は限られている。 本研究は, 基準組織, 基準運用, スコアアグリゲーションにまたがるルーブリック設計の系統的力学解析を行う。 分析の結果、構造的組織はより包括的な基準構築を可能にし、セマンティックな仕様だけでは効果的な基準レベルの判断を保証せず、高度なスコアアグリゲーションは限定的な追加利得を提供することがわかった。 これらの知見を参考に,適応木構築とセマンティックファーストな応答校正機能を組み合わせた適応木探索(ARTS-Hybrid)を導入する。 ベンチマークによる実験では、ARTS-Hybridは、エンドツーエンドの評価性能と本質的なルーリック品質の両方を改善している。 さらなる実験により、ARTS-Hybridが生成した潤滑剤がモデル最適化に有効な信号をもたらすことが示唆された。

関連論文リスト

• Beyond the Academic Monoculture: A Unified Framework and Industrial Perspective for Attributed Graph Clustering [75.50670592447219]
  分散グラフクラスタリング(AGC)は、構造トポロジとノード属性を共同でモデル化することによって、ノードを凝集性グループに分割する基本的な教師なしタスクである。 この調査は、3つの相補的な視点からAGCを包括的かつ工業的に基礎づけたレビューを提供する。
  論文  参考訳（メタデータ） (2026-03-21T14:15:34Z)
• Exploring Structural Complexity in Normative RAG with Graph-based approaches: A case study on the ETSI Standards [3.4765379241536465]
  本稿では,標準文書,標準文書,規制文書に対する高性能RAGソリューション構築のためのグラフRAGアーキテクチャの有効性について検討する。 この知識ギャップを解決するために,標準文書と規制文書のユニークな構造と語彙的特徴に合わせた特殊なRAG手法を提案する。
  論文  参考訳（メタデータ） (2026-01-31T17:00:43Z)
• REVEALER: Reinforcement-Guided Visual Reasoning for Element-Level Text-Image Alignment Evaluation [10.151027538362259]
  REVEALERは、強化誘導視覚推論に基づく要素レベルのアライメント評価のための統一的なフレームワークである。 提案手法は,MLLM(Multimodal Large Language Models)を用いて意味的要素を明示的にローカライズし,解釈可能なアライメント判断を導出する。
  論文  参考訳（メタデータ） (2025-12-29T03:24:09Z)
• MECHBench: A Set of Black-Box Optimization Benchmarks originated from Structural Mechanics [1.4757194159888734]
  本稿では,構造力学に根ざした最適化ベンチマークについて述べる。 ベンチマークは、車両のクラッシュ耐性シナリオから導かれる。 本稿では,各事例の物理的文脈,対応する最適化問題の定式化,スイートの活用方法に関する明確なガイドラインについて述べる。
  論文  参考訳（メタデータ） (2025-11-13T21:43:59Z)
• Automated Skill Decomposition Meets Expert Ontologies: Bridging the Granularity Gap with LLMs [1.2891210250935148]
  本稿では,Large Language Models (LLM) を用いた自動スキル分解について検討する。 我々のフレームワークは、パイプラインをプロンプトと生成から正規化とオントロジーノードとのアライメントまで標準化する。 出力を評価するために、コンテンツ精度を評価するために最適な埋め込みベースのマッチングを使用するF1スコアと、粒度を評価するために構造的に正しい配置を信用する階層型F1スコアの2つの指標を導入する。
  論文  参考訳（メタデータ） (2025-10-13T12:03:06Z)
• Effects of structure on reasoning in instance-level Self-Discover [0.0]
  本稿では、Self-Discoverフレームワークのインスタンスレベルの適応であるiSelf-Discoverを紹介し、それを用いて動的に生成された構造化推論と非構造化推論との比較を行う。 最先端のオープンソースモデルを用いた多種多様なベンチマークによる実証的評価は、非構造化推論に対する一貫した優位性を支持している。
  論文  参考訳（メタデータ） (2025-07-04T07:28:42Z)
• Learning to Align Multi-Faceted Evaluation: A Unified and Robust Framework [61.38174427966444]
  大規模言語モデル(LLM)は、様々なシナリオにおける自動評価のために、より広く使われている。 従来の研究では、強力なプロプライエタリモデルの評価と判断を再現するために、オープンソースのLLMを微調整しようと試みてきた。 本稿では,評価基準を適応的に定式化し,テキストベースとコード駆動分析の両方を合成する新しい評価フレームワークARJudgeを提案する。
  論文  参考訳（メタデータ） (2025-02-26T06:31:45Z)
• Language Model Preference Evaluation with Multiple Weak Evaluators [89.90733463933431]
  PGEDは,複数のモデルに基づく評価器を用いて嗜好グラフを構築し,非循環的非競合性評価結果に対してこれらのグラフをアンサンブルし,デノテーズする手法である。 1)評価のためのモデルランキング、2)テスト時間スケーリングのための応答選択、3)モデル微調整のためのデータ選択である。
  論文  参考訳（メタデータ） (2024-10-14T01:57:25Z)
• RAGGED: Towards Informed Design of Scalable and Stable RAG Systems [51.171355532527365]
  Retrieval-augmented Generation (RAG)は、外部知識を統合することで言語モデルを強化する。 RAGGEDは、RAGシステムを体系的に評価するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-03-14T02:26:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。