論文の概要: Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis
- arxiv url: http://arxiv.org/abs/2608.15630v1
- Date: Sun, 16 Aug 2026 08:52:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.368072
- Title: Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis
- Title(参考訳): 評価機器は人間とLLMの同義性を測定するか? : 潜在構造解析
- Abstract要約: 本研究では,大規模言語モデル(LLM)に対する評価に対する応答の潜在構造における類似性について検討する。
ヒトとLDMの因子構造には系統的な違いが見られ、解析されたアセスメントがヒトとLSMの同じ構造を測ることができないことを示す。
これらの知見は、AI能力に関する主張を行うために教育評価を使用する評価実践の有効性を疑問視している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The rapid development and growing deployment of large language models (LLMs) have made it increasingly important to understand their capabilities. A common approach is to evaluate LLMs using assessment instruments originally designed to measure skills and competencies in humans, such as standardized exams, and to use performance on these instruments as evidence for generalizable claims about LLMs' underlying abilities on the same skills the assessments are intended to measure in humans. However, from a validity perspective, such inferences require that the relationship between observed performance and underlying constructs established for humans also holds for LLMs. In particular, a necessary condition for transferring score interpretations is similarity in the latent structure of responses to the assessment. In this study, we examine whether this condition holds in two educational contexts: high-school chemistry and a quantitative reasoning section of a university entrance exam. Using a case study design, we compare human response data with responses generated by six multimodal LLMs. Our analytical approach combines exploratory factor analysis, factor congruence, and resampling to assess latent structure similarity across human learners and LLMs. Across both instruments, we find systematic differences between human and LLM factor structures, showing evidence that the analyzed assessments may not measure the same constructs for humans and LLMs. These findings call into question the validity of evaluation practices that use educational assessments to make claims about AI capabilities.
- Abstract(参考訳): 大規模言語モデル(LLM)の急速な開発と展開が、その能力を理解することがますます重要になっている。
一般的なアプローチは、本来は人間の技能と能力を測定するために設計された評価器を用いてLSMを評価することであり、評価器が人間で測定するのと同じスキルでLLMの基礎的能力に関する一般的な主張の証拠として、これらの測定器のパフォーマンスを使用する。
しかし、有効性の観点からは、観察された性能と人間にとって確立された基盤構造との関係もLLMに保たれることが求められる。
特に、スコアの解釈を伝達するために必要な条件は、評価に対する応答の潜在構造における類似性である。
本研究では,この条件が高校化学と大学入学試験の量的推論という2つの教育的文脈に当てはまるかどうかを検討する。
ケーススタディ設計を用いて、6つのマルチモーダルLLMによって生成された応答と人間の応答データを比較した。
我々の分析的アプローチは、探索的因子分析、因子共役、再サンプリングを組み合わせることで、人間の学習者とLLM間の潜在構造類似性を評価する。
いずれの機器においても,人間とLLMの因子構造には系統的な違いが見られ,解析された評価が人間とLLMの構成要素を測ることができないことを示す。
これらの知見は、AI能力に関する主張を行うために教育評価を使用する評価実践の有効性を疑問視している。
関連論文リスト
- Interpretable Humans, Alien LLMs: Expert Analysis of Latent Structures in Assessment Responses [0.0]
大規模言語モデル(LLM)の評価は、人間によって設計された評価に大きく依存する。
LLMのパフォーマンスを規定する潜在要因が、人間の学習者を管理する認知構造と同じ実体的、人間解釈可能な意味を持つかどうかを検討する。
論文 参考訳(メタデータ) (2026-08-18T14:08:25Z) - Teaching Values to Machines: Simulating Human-Like Behavior in LLMs [9.380468624733123]
大きな言語モデル(LLM)は、異なるペルソナと役割を採用する際、顕著な能力を示します。
それらが、一貫性のある人間のような価値構造に固執する行動を示すことができるかどうかは不明だ。
論文 参考訳(メタデータ) (2026-05-28T14:56:21Z) - A Survey of Large Language Models for Perception and Measurement of Human Psychology [55.608047817598965]
中心的な問題は、大規模言語モデルが複雑で潜伏した人間の心理的構造を正確に知覚し、測定する能力を持っているかどうかである。
本稿では,人間の心理測定機器としてのLSMの使用に着目した系統的なレビューを行う。
論文 参考訳(メタデータ) (2026-05-20T14:54:09Z) - Assessment Design in the AI Era: A Method for Identifying Items Functioning Differentially for Humans and Chatbots [0.0]
教育における大規模言語モデル(LLM)の急速な採用は、アセスメント設計に重大な課題をもたらす。
我々は,人間とLLMが体系的な応答差を示す項目を特定するために,統計的に原則化されたアプローチを導入する。
この方法は、差分アイテム機能解析(DIF)に基づく。
論文 参考訳(メタデータ) (2026-03-24T19:39:39Z) - IV Co-Scientist: Multi-Agent LLM Framework for Causal Instrumental Variable Discovery [61.15184885636171]
内因性変数と結果との相同性の存在下では、インストゥルメンタル変数(IVs)を用いて内因性変数の因果効果を分離する。
大規模言語モデル(LLM)がこの課題に有効かどうかを検討する。
本稿では,多エージェントシステムであるIV Co-Scientistを紹介する。
論文 参考訳(メタデータ) (2026-02-08T12:28:29Z) - On Evaluating LLM Alignment by Evaluating LLMs as Judges [68.15541137648721]
大規模言語モデル(LLM)のアライメントを評価するには、助け、誠実、安全、正確に人間の指示に従う必要がある。
本研究では,LLMの生成能力と評価能力の関係について検討した。
モデル出力を直接評価することなくアライメントを評価するベンチマークを提案する。
論文 参考訳(メタデータ) (2025-11-25T18:33:24Z) - Humanizing LLMs: A Survey of Psychological Measurements with Tools, Datasets, and Human-Agent Applications [25.38031971196831]
大規模言語モデル(LLM)は、人間中心のタスクでますます使われるようになっている。
彼らの心理的特徴を評価することは、彼らの社会的影響を理解し、信頼できるAIアライメントを確保するために不可欠である。
本研究は,LLMのより解釈しやすく,堅牢で,一般化可能な心理的アセスメントフレームワークを開発するための今後の方向性を提案することを目的とする。
論文 参考訳(メタデータ) (2025-04-30T06:09:40Z) - Comparing Human Expertise and Large Language Models Embeddings in Content Validity Assessment of Personality Tests [0.0]
本研究では,大規模言語モデル(LLM)の心理測定器の内容妥当性評価への応用について検討する。
人間の専門的評価と高度なLCMの両方を用いて,意味的項目・構成的アライメントの精度を比較した。
その結果、人間とAIのアプローチの強みと限界が明らかになりました。
論文 参考訳(メタデータ) (2025-03-15T10:54:35Z) - Evaluating Large Language Models with Psychometrics [59.821829073478376]
本稿では,Large Language Models (LLMs) の心理的構造を定量化するための総合的ベンチマークを提案する。
私たちの研究は、13のデータセットで評価された5つの重要な心理的構成要素、人格、価値観、感情的知性、心の理論、自己効力性を特定します。
LLMの自己報告特性と実際のシナリオにおける応答パターンとの間に大きな相違が発見され,その挙動の複雑さが明らかになった。
論文 参考訳(メタデータ) (2024-06-25T16:09:08Z) - Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
大規模言語モデル(LLM)は意思決定タスクを自動化するために使用される。
本稿では,LPMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを評価する。
さまざまな因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成します。
これらのベンチマークにより、LLMが事実を記憶したり、他のショートカットを見つけたりすることで、変化を正確に予測する能力を切り離すことができます。
論文 参考訳(メタデータ) (2024-04-08T14:15:56Z) - Is Self-knowledge and Action Consistent or Not: Investigating Large Language Model's Personality [11.660251022962141]
大規模言語モデル(LLM)の人格特性の把握における従来のパーソナリティアンケートの有効性について検討する。
本研究の目的は, LLM が持つ性格特性と実世界のシナリオにおけるその傾向の一致を評価することである。
論文 参考訳(メタデータ) (2024-02-22T16:32:08Z) - Can Large Language Models Be an Alternative to Human Evaluations? [80.81532239566992]
大規模言語モデル(LLM)は、タスク命令のみを提供する場合、目に見えないタスクに対して例外的な性能を示す。
LLM評価の結果は、専門家による評価の結果と一致していることを示す。
論文 参考訳(メタデータ) (2023-05-03T07:28:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。