論文の概要: Learnable Assessment Skills for LLM-based Automated Scoring: Rubric Construction via Iterative Optimization

• arxiv url: http://arxiv.org/abs/2605.29274v1
• Date: Thu, 28 May 2026 02:50:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.601661
• Title: Learnable Assessment Skills for LLM-based Automated Scoring: Rubric Construction via Iterative Optimization
• Title（参考訳）: LLMに基づく自動スコーリングのための学習可能な評価スキル:反復最適化によるルーブリック構築
• Authors: Yun Wang, Xin Xia, Xuansheng Wu, Xiaoming Zhai, Ninghao Liu,
• Abstract要約: 本稿では,スキルを固定された足場と学習可能なアイテムに依存しないルールに分解する反復的フレームワークを提案する。 クロスイテム転送実験は、学習スキルが一般化可能なパターンとアイテム固有のパターンの両方をキャプチャすることを示した。
• 参考スコア（独自算出の注目度）: 31.444113318748588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM-based automated scoring approaches near-human performance, but scaling to new tasks remains bottlenecked by the per-item human configuration of upstream stages such as rubric construction. Human experts bypass this bottleneck through evaluation heuristics developed over extensive practice. We ask whether LLMs can learn similar heuristics directly from scoring experience, and formalize this as the concept of assessment skills: item-independent natural-language procedural knowledge that guides LLMs through specific stages of the scoring workflow. Focusing on rubric construction as a first instantiation, we propose an iterative framework that decomposes a skill into a fixed scaffold and learnable item-agnostic rules, refining the rules through LLM-driven diagnosis of scoring errors and validation-gated selection. The framework requires no expert-written rubric. On all ten ASAP-SAS items, optimized skills substantially improve LLM-based scoring and frequently surpass the dataset-provided expert rubric. Cross-item transfer experiments further reveal that learned skills capture both generalizable and item-specific patterns.
• Abstract（参考訳）: LLMに基づく自動スコアリングは人間に近い性能にアプローチするが、新しいタスクへのスケーリングは、ルーブリック構造のような上流ステージの人体構成によってボトルネックが残っている。 人間の専門家は、広範囲に発達した評価ヒューリスティックスを通じて、このボトルネックを回避した。 我々は、LCMがスコアリング経験から直接同様のヒューリスティックを学習できるかどうかを問うとともに、これをアセスメントスキルの概念として定式化する: アイテム非依存の自然言語手続き的知識は、スコアリングワークフローの特定の段階を通してLPMをガイドする。 第1のインスタンス化としてルーブリック構造に着目し,一定の足場と学習可能な項目に依存しないルールにスキルを分解する反復的フレームワークを提案する。 フレームワークには専門家による筆跡は必要ない。 ASAP-SASの10項目すべてにおいて、最適化されたスキルはLLMベースのスコアリングを大幅に改善し、データセットが提供するエキスパートルーリックを頻繁に上回る。 クロスイット転送実験により、学習スキルが一般化可能なパターンとアイテム固有のパターンの両方をキャプチャすることが明らかとなった。

関連論文リスト

• Beyond Basic Specifications? A Systematic Study of Logical Constructs in LLM-based Specification Generation [29.231420590756954]
  プログラム仕様の自動生成のための大規模言語モデル(LLM)は、検証効率を向上させるための有望な道として登場した。 既存の LLM 仕様生成フレームワークに論理構造を組み込むことを提案する。 我々は,様々な種類の構文構造が仕様生成フレームワークに与える影響について,実証的研究を行った。
  論文  参考訳（メタデータ） (2026-01-31T13:19:40Z)
• Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
  大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。 エージェント検索フレームワークであるEXSEARCHを提案する。 4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-26T15:27:55Z)
• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• Latent Factor Models Meets Instructions: Goal-conditioned Latent Factor Discovery without Task Supervision [50.45597801390757]
  Instruct-LFはゴール指向の潜在因子発見システムである。 命令フォロー機能と統計モデルを統合して、ノイズの多いデータセットを処理する。
  論文  参考訳（メタデータ） (2025-02-21T02:03:08Z)
• Reasoning Factual Knowledge in Structured Data with Large Language Models [26.00548862629018]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な進歩を遂げている。 構造化データには、事前学習に使われる非構造化テキストとは異なる独特の特徴がある。 本研究では,LLMの構造的推論能力を評価するためにStructFactというベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-08-22T08:05:09Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
  FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。 モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
  論文  参考訳（メタデータ） (2023-07-20T14:56:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。