論文の概要: Can Large Language Model-Generated Responses Support Assessment Development? A Human-Calibrated Rasch Benchmark

• arxiv url: http://arxiv.org/abs/2609.25059v1
• Date: Thu, 10 Sep 2026 13:50:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.846858
• Title: Can Large Language Model-Generated Responses Support Assessment Development? A Human-Calibrated Rasch Benchmark
• Title（参考訳）: 大規模言語モデル生成応答はアセスメント開発を支援するか?
• Abstract要約: 大規模言語モデル (LLM) は、パイロットテストの合成回答者として提案されている。 高い内部整合性は、LLM応答が人間のパイロットデータを置き換えるには不十分な証拠である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are proposed as synthetic respondents for pilot testing, but their usefulness depends on whether they supply the evidence assessment development requires. We calibrated rating scale models on 14 digital-use skill items from 6,245 adults and used the human item parameters to evaluate responses generated for 1,300 demographically matched personas. LLM responses had high internal consistency ($α\approx .94$) but used the lowest category in 0.2-0.3% of responses versus 13.7-21.5% for humans, and no persona chose it on every item. These gaps changed the response-category judgment on both subscales and the PC targeting judgment; on the human-calibrated scales, 12 of 14 items had infit below 0.70, indicating responses more predictable than the Rasch model expects. Preregistered changes to the prompt, category order, and persona information did not restore the human lower range. High internal consistency is insufficient evidence that LLM responses can replace human pilot data.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、パイロットテストの総合的な回答者として提案されているが、それらの有用性は、それらがエビデンスアセスメント開発に必要なものを提供するかどうかによって異なる。 我々は、成人6,245人のデジタルスキルアイテム14項目の評価尺度を校正し、人的項目パラメータを用いて、人口統計学的に一致した1,300人の人物に対する回答を評価した。 LLMの反応は高い内部整合性(α-approx .94$)を持っていたが、0.2-0.3%の反応では、人間では13.7-21.5%であり、全ての項目で人格が選ばれなかった。 これらのギャップは、サブスケールとPCターゲティングの判定の両方で応答カテゴリーの判断を変え、人間の校正の尺度では14項目中12項目が0.70未満の適合性を示し、ラッシュモデルが予想していたよりも応答が予測可能であることを示した。 プロンプト, カテゴリー順, ペルソナ情報の事前登録による変化は, ヒトの下層域の回復には至らなかった。 高い内部整合性は、LLM応答が人間のパイロットデータを置き換えるには不十分な証拠である。

関連論文リスト

• When Consistency Does Not Mean Reliability: Evaluating Local LLM Judges Against Human Ratings [0.0]
  大規模言語モデル (LLMs) は、他の言語モデルの応答を評価するために使われることが多い。 GPT-2(124M)モデルで生成した300の応答を,5つのカテゴリをカバーする100の質問に対して評価した。 我々は、ピアソン相関、スピアマン相関、平均絶対誤差(MAE)、符号付きバイアス、自己整合性を用いて、判定スコアを平均人間のスコアと比較した。
  論文  参考訳（メタデータ） (2026-09-12T09:15:59Z)
• HypoEval: Hypothesis-Guided Evaluation for Natural Language Generation [25.193026443079987]
  hypoEvalは、大規模言語モデル(LLM)のための仮説誘導評価フレームワークである 人間の評価は30点に過ぎず,HypoEvalはヒトのランク(スピアマンの相関)とヒトのスコア(ピアソンの相関)の両方に対応して最先端のパフォーマンスを達成する。 我々は、HypoEvalの堅牢性を評価するための系統的研究を行い、信頼性と解釈可能な自動評価フレームワークとしての有効性を強調した。
  論文  参考訳（メタデータ） (2025-04-09T18:00:01Z)
• Towards Unifying Evaluation of Counterfactual Explanations: Leveraging Large Language Models for Human-Centric Assessments [0.7852714805965528]
  206人の回答者から8つの評価指標にまたがって、30のカウンターファクトのシナリオを作成し、評価を収集する。 これらの指標で平均的または個人的判断を予測するために、さまざまな大規模言語モデルを微調整しました。
  論文  参考訳（メタデータ） (2024-10-28T15:33:37Z)
• LLMs instead of Human Judges? A Large Scale Empirical Study across 20 NLP Evaluation Tasks [106.09361690937618]
  人間の判断の代わりにLPMを用いてNLPモデルを評価する傾向が高まっている。 JUDGE-BENCHは20個のNLPデータセットのコレクションで、人間のアノテーションで、幅広い評価された特性やデータの種類をカバーしています。 アノテーションを複製できるため、オープンウェイトモデルとプロプライエタリモデルの両方をカバーする11の現在のLCMを評価します。
  論文  参考訳（メタデータ） (2024-06-26T14:56:13Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。