論文の概要: From Texts to Scores: Tracing the Emergence of Essay Quality Representations in Large Language Models

• arxiv url: http://arxiv.org/abs/2606.20152v1
• Date: Thu, 18 Jun 2026 12:18:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.844187
• Title: From Texts to Scores: Tracing the Emergence of Essay Quality Representations in Large Language Models
• Title（参考訳）: テキストからスコアへ:大規模言語モデルにおける評価品質表現の出現の追跡
• Authors: Jiaxu Zuo, Mu You, Kaixin Lan, Tao Fang, Yujia Huo, Henghua Shen, Lidia S. Chao, Derek F. Wong,
• Abstract要約: 我々は,エッセイの品質情報が大規模言語モデル内で線形にアクセス可能な形式で符号化されているという一貫した証拠を見出した。 我々は、ニューロンの活性化がエッセイスコアと強く相関し、標的介入に敏感な行動を示す「ニューロン」を同定する。
• 参考スコア（独自算出の注目度）: 39.459106293017584
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent advances in Large Language Models (LLMs) have substantially transformed Automated Essay Scoring (AES), yet the internal mechanisms underlying LLM-based scoring remain poorly understood. In this work, we systematically analyze the hidden representations of eight LLMs across two English essay datasets (ASAP++, CSEE) and one Portuguese dataset (ENEM). Using linear probing, cross-prompt generalization, dimensionality reduction, and neuron-level analyses, we find consistent evidence that essay quality information is encoded in a linearly accessible form within LLM representations. These representations emerge progressively across layers, remain robust across prompting strategies, and partially transfer across essay prompts despite differences in scoring rubrics. In addition, nonlinear probes provide only marginal and inconsistent improvements over linear probes, suggesting that most essay quality information is already linearly decodable. We further identify individual ``essay scoring neurons'' whose activations strongly correlate with essay scores and whose behavior is sensitive to targeted intervention. Moreover, the layer-wise distribution of these neurons systematically shifts with essay length, with longer essays relying more heavily on deeper layers. Overall, our findings provide evidence that LLMs encode structured representations related to essay quality and offer new insights into the interpretability of LLM-based AES systems.
• Abstract（参考訳）: 近年のLarge Language Models (LLMs) の進歩は, AES (Automated Essay Scoring) に大きく変化している。 本研究では,2つの英語エッセイデータセット (ASAP++, CSEE) と1つのポルトガル語データセット (ENEM) にまたがる8つのLLMの隠れ表現を系統的に解析する。 線形探索,クロスプロンプト一般化,次元減少,ニューロンレベルの解析を用いて,エッセイの品質情報がLLM表現の中で線形にアクセス可能な形で符号化されているという一貫した証拠を見出した。 これらの表現は層をまたいで徐々に現れ、戦略を推し進める上で頑丈なままであり、楽譜の相違にもかかわらずエッセイのプロンプトを部分的に移動している。 さらに、非線形プローブは、線形プローブよりも限界と矛盾した改善しか提供せず、ほとんどのエッセイの品質情報は既に線形デオード可能であることを示唆している。 さらに,活性化がエッセイスコアと強く相関し,標的介入に敏感な行動を示す「評価スコアニューロン」を同定した。 さらに、これらのニューロンの層的分布はエッセイの長さによって体系的に変化し、より深い層に強く依存する長いエッセイが現れる。 本研究は,LLMがエッセイ品質に関連する構造的表現を符号化し,ALSシステムの解釈可能性に関する新たな知見を提供するものであることを示す。

関連論文リスト

• Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs [100.02824137397464]
  難易度が増大する入力に遭遇した場合,大規模言語モデルが内部表現をどのように適応するかを検討する。 タスクの難易度が増大するにつれて、LLMの最後の隠れ状態は実質的にスペーサーとなる。 この空間性-微分的関係は、様々なモデルや領域で観測可能である。
  論文  参考訳（メタデータ） (2026-03-03T18:48:15Z)
• Semantic Consistency Regularization with Large Language Models for Semi-supervised Sentiment Analysis [20.503153899462323]
  本稿では,半教師付き感情分析のためのフレームワークを提案する。 テキストを意味的に拡張する2つのプロンプト戦略を導入する。 実験により,従来の半教師付き手法よりも優れた性能が得られた。
  論文  参考訳（メタデータ） (2025-01-29T12:03:11Z)
• Potential and Perils of Large Language Models as Judges of Unstructured Textual Data [0.631976908971572]
  本研究では,LLM-as-judgeモデルの有効性を検討した。 LLM-as-judgeは、人間に匹敵するスケーラブルなソリューションを提供するが、人間は微妙で文脈固有のニュアンスを検出するのに優れている。
  論文  参考訳（メタデータ） (2025-01-14T14:49:14Z)
• Probing Ranking LLMs: A Mechanistic Analysis for Information Retrieval [20.353393773305672]
  我々は、LLMのランク付けにおけるニューロンの活性化を調べるために、探索に基づく分析を用いる。 本研究は,語彙信号,文書構造,問合せ文書間相互作用,複雑な意味表現など,幅広い機能カテゴリにまたがる。 我々の発見は、より透明で信頼性の高い検索システムを開発するための重要な洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-24T08:20:10Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• Disentangled Representation Learning with Large Language Models for Text-Attributed Graphs [57.052160123387104]
  本稿では,TAGに対するLLMの推論と予測能力を向上させることができるDGTLモデルを提案する。 提案するDGTLモデルでは, グラフ構造情報をGNN層に組み込む。 実験により,提案したDGTLモデルにより,最先端のベースラインよりも優れた性能,あるいは同等の性能が得られることを示した。
  論文  参考訳（メタデータ） (2023-10-27T14:00:04Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。