論文の概要: Inside the Scorer: Mechanistic Evidence on Rubric Control in LLM-Based Automated Essay Scoring from 25 Base Models

• arxiv url: http://arxiv.org/abs/2610.25724v1
• Date: Mon, 19 Oct 2026 03:26:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 12:01:31.620572
• Title: Inside the Scorer: Mechanistic Evidence on Rubric Control in LLM-Based Automated Essay Scoring from 25 Base Models
• Title（参考訳）: シュコーラー内部:25塩基モデルを用いたLLM自動評価におけるゴム制御の力学的エビデンス
• Abstract要約: 大規模言語モデル(LLM)が個々のスコアリングルーブリックに対して異なる内部表現を形成するかどうかを検討する。 全体論的なスコアは、より長いタスクにおいてモデルのアクティベーションから退避可能であり、最も短いタスクでは弱くしかありません。 一致した介入を適用すると、ミスマッチした介入に対して無視できる優位性しか得られない。
• 参考スコア（独自算出の注目度）: 0.2676349883103404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated essay scoring (AES) using large language models (LLMs) offers promising use cases for language assessment, yet high-stakes testing requires scores that are both controllable and verifiable, which current LLM-based scorers lack. Given that, we investigate whether LLM-based scorers form distinct internal representations for individual scoring rubrics and whether these representations can be independently controlled. Probing and steering 25 open-weight base LLMs (0.13B-10.31B parameters; 14 families) on human-scored BESTEP English writing tasks, we find that holistic scores are decodable from model activations for the longer tasks (Parts 2 and 3) and only weakly for the shortest (Part 1). Furthermore, scoring rubrics have partly separable directions in representation space for the longer tasks, though not for short responses (Part 1). However, causal steering reveals a critical limitation: applying a matching intervention (e.g., steering "grammar" on a grammar-degraded response) yields only a negligible advantage (about 2% of the effect) over a mismatched intervention (e.g., steering "vocabulary"), and none that is detectable in any of the 10 testable comparisons across reliably measured rubrics. Rather than controlling distinct evaluative dimensions, the rubric directions share a dominant lever whose rubric-specific parts are not selective, which may mirror the halo structure of human ratings. Our contributions are two-fold. First, we show that analytic scoring rubrics designed for human raters do not behave as independent controls in base LLMs, even among the seven models whose scores agree best with human raters ($r \geq 0.6$). Second, we establish a methodology that shows that score agreement and decodability do not imply rubric-level control in LLM-based assessment.
• Abstract（参考訳）: 大規模言語モデル(LLM)を用いた自動エッセイスコア(AES)は、言語評価に有望なユースケースを提供するが、高い評価テストでは制御可能で検証可能なスコアが必要である。 そこで本研究では,LLMを用いたスコアラーが個々のスコアリングルーリックに対して異なる内部表現を形成しているか,これらの表現を独立に制御できるかどうかを検討する。 BESTEP英語書記タスクにおける25個のオープンウェイトベースLLM(0.13B-10.31Bパラメータ;14ファミリー)の探索とステアリングにより,より長いタスクのモデルアクティベーションから総合的なスコアがデオード可能であること(第2部,第3部,第1部,第1部,第1部)。 さらに、スコアリングルーブリックは、短い応答ではなく、より長いタスクに対する表現空間において部分的に分離可能な方向を持つ(その1)。 しかし、因果的ステアリングは、一致した介入(例えば、文法的に劣化した応答に対して「文法」を操る)を適用すると、ミスマッチした介入(例えば、"vocabulary"を操る)に対して無視できる優位性(効果の約2%)しか得られず、確実に測定されたルーリックを比較できる10の試験可能な比較では検出できない。 異なる評価次元を制御するのではなく、ルーブリックの方向は、ルーブリック固有の部分が選択的でない支配的なレバーを共有しており、これは人間の評価のハロー構造を反映している可能性がある。 私たちの貢献は2倍です。 第一に、人間のラッカーに最適なスコアを付与する7つのモデル(r \geq 0.6$)であっても、人間のラッカー用に設計された分析的スコアリングルーブリックは、ベースLLMの独立した制御として振る舞うことができないことを示す。 第2に,LCMに基づく評価において,スコアアグリーメントとデオーダビリティがルーリックレベルの制御を含まないことを示す方法論を確立する。

関連論文リスト

• LLM Essay Scoring Under Holistic and Analytic Rubrics: Prompt Effects and Bias [3.9562034587217187]
  我々は、人間のコンセンサススコア、方向性バイアス、バイアス推定の安定性との一致を分析した。 我々は,グラマーやコンベンションなどの低次懸念(LOC)特性に対して,大規模かつ安定な負の方向性バイアスを観察する。 この分析は、LOCバイアスが極めて小さな検証セットでしばしば検出可能であることを示している。
  論文  参考訳（メタデータ） (2026-03-31T21:40:36Z)
• Verifying Large Language Models' Reasoning Paths via Correlation Matrix Rank [71.09032766271493]
  大規模言語モデル (LLM) は誤りや幻覚を引き起こす傾向がある。 アウトプットを効果的かつ効率的にチェックする方法は、アプリケーションにとって重要な問題となっている。
  論文  参考訳（メタデータ） (2025-10-28T11:01:10Z)
• Can We Hide Machines in the Crowd? Quantifying Equivalence in LLM-in-the-loop Annotation Tasks [8.246529401043128]
  我々は、人間とLLMの両方によるラベル付け決定が、個人間で統計的に評価される方法について検討することを目指している。 Krippendorffの$alpha$, paired bootstrapping, and the Two One-Sided t-Tests (TOST) equivalence test procedureに基づく統計的評価法を開発した。 このアプローチをMovieLens 100K と PolitiFact という2つのデータセットに適用すると、LCM が前者の人間のアノテーションと統計的に区別できないことが分かる。
  論文  参考訳（メタデータ） (2025-10-08T05:17:33Z)
• AutoSCORE: Enhancing Automated Scoring with Multi-Agent Large Language Models via Structured Component Recognition [27.312190686305588]
  大規模言語モデル(LLM)は、自動スコアリングにおいて大きな可能性を示している。 エンド・ツー・エンドのレーダとしての使用は、低い正確性、迅速な感度、限定的な解釈可能性、ルーリックなミスアライメントといった課題に直面している。 本稿では,多エージェント LLM フレームワークである AutoSCORE を提案する。
  論文  参考訳（メタデータ） (2025-09-26T05:45:14Z)
• Towards Evaluting Fake Reasoning Bias in Language Models [47.482898076525494]
  論理に欠陥がある場合でも、モデルが推論の表面構造を好むことを示す。 我々は、Fake Reasoning Bias(FRB)を体系的に調査するベンチマークTheATERを紹介する。 我々は、主観的DPOと実データの両方で17の高度な大言語モデル(LRM)を評価する。
  論文  参考訳（メタデータ） (2025-07-18T09:06:10Z)
• Towards Understanding the Robustness of LLM-based Evaluations under Perturbations [9.944512689015998]
  大言語モデル(LLM)は、要約やダイアログベースのタスクにおいて、非標準化メトリクスの自動評価器として機能する。 人間の判断に比較して,LLMが品質評価指標としていかに優れているかを検討するために,複数のプロンプト戦略にまたがる実験を行った。
  論文  参考訳（メタデータ） (2024-12-12T13:31:58Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。