論文の概要: Interpretable Humans, Alien LLMs: Expert Analysis of Latent Structures in Assessment Responses

• arxiv url: http://arxiv.org/abs/2608.17810v1
• Date: Tue, 18 Aug 2026 14:08:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.362122
• Title: Interpretable Humans, Alien LLMs: Expert Analysis of Latent Structures in Assessment Responses
• Title（参考訳）: 解釈可能な人間, エイリアンLLM: 評価応答における潜伏構造のエキスパート分析
• Abstract要約: 大規模言語モデル(LLM)の評価は、人間によって設計された評価に大きく依存する。 LLMのパフォーマンスを規定する潜在要因が、人間の学習者を管理する認知構造と同じ実体的、人間解釈可能な意味を持つかどうかを検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The evaluation of large language models (LLMs) relies heavily on human-designed assessments, implicitly assuming that AI and humans employ similar underlying cognitive constructs. Challenging this assumption, we investigate whether the latent factors governing LLM performance carry the same substantive, human-interpretable meaning as the cognitive constructs governing human learners. Using responses from humans and six LLMs across quantitative reasoning and chemistry assessments, we conducted Exploratory Factor Analysis (EFA) separately for both groups. Subject-Matter Experts (SMEs) then blindly evaluated the resulting factor graphs to ascribe pedagogical meaning to the emerged constructs. SMEs successfully interpreted most of the human-derived factors. Conversely, they could not ascribe meaning to any LLM-derived factors in quantitative reasoning and interpreted only half of the LLM factors in chemistry. By combining data-driven EFA with blind expert interpretation, this framework shows that LLMs frequently operate on statistically opaque mechanisms distinct from human reasoning.
• Abstract（参考訳）: 大規模言語モデル(LLM)の評価は、人間によって設計された評価に大きく依存している。 この仮定に従えば、LLMのパフォーマンスを規定する潜在要因が、人間の学習者を管理する認知構造と同じ実体的、人間解釈可能な意味を持つかどうかを考察する。 定量的推論および化学評価における人間と6つのLDMからの反応を用いて,両群別に探索因子分析(EFA)を行った。 次に、SME(Subject-Matter Experts)は、得られた因子グラフを盲目的に評価し、台頭した構成物に教育的意味を割り当てた。 中小企業は人為的要因のほとんどをうまく解釈した。 逆に、量的推論においてLLM由来の因子に意味を割り当てることができず、化学におけるLLM因子の半分しか解釈できなかった。 データ駆動型EFAとブラインド専門家の解釈を組み合わせることで、LLMは人間の推論とは異なる統計的に不透明なメカニズムで頻繁に機能することを示す。

関連論文リスト

• Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis [0.0]
  本研究では,大規模言語モデル(LLM)に対する評価に対する応答の潜在構造における類似性について検討する。 ヒトとLDMの因子構造には系統的な違いが見られ、解析されたアセスメントがヒトとLSMの同じ構造を測ることができないことを示す。 これらの知見は、AI能力に関する主張を行うために教育評価を使用する評価実践の有効性を疑問視している。
  論文  参考訳（メタデータ） (2026-08-16T08:52:58Z)
• 11Plus-Bench: Demystifying Multimodal LLM Spatial Reasoning with Cognitive-Inspired Analysis [54.24689751375923]
  本研究では,最先端MLLMの空間的推論能力を評価するためのシステム評価フレームワークを提案する。 14個のMLLMの実験と人間の評価により、現在のMLLMは空間認知の早期の兆候を示すことが明らかとなった。 これらの知見は,現在のMLLMの空間的推論能力の出現能力と限界の両方を浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-08-27T17:22:34Z)
• How LLMs Comprehend Temporal Meaning in Narratives: A Case Study in Cognitive Evaluation of LLMs [13.822169295436177]
  本研究では,人文研究に用いられた物語において,大規模言語モデル(LLM)が言語的側面の時間的意味をどう扱うかを検討する。 以上の結果から,LLMは原型性に過度に依存し,相反する側面判断を生じ,側面から派生した因果推論に苦慮することが明らかとなった。 これらの結果は,LLMのプロセスの側面が人間と根本的に異なり,ロバストな物語理解が欠如していることを示唆している。
  論文  参考訳（メタデータ） (2025-07-18T18:28:35Z)
• LLM-D12: A Dual-Dimensional Scale of Instrumental and Relational Dependencies on Large Language Models [0.24629531282150877]
  人々が大規模言語モデル(LLM)とどのように相互作用するかを理解することへの関心が高まっている。 LLM-D12(LLM-D12)とよばれるLCM依存度を測定する新しい12項目アンケートを開発し,その妥当性を検証した。 このスケールは、著者の以前の理論的研究に基づいており、それに応じてアイテムが開発され、イギリスで526人の参加者から回答が集められた。
  論文  参考訳（メタデータ） (2025-06-07T17:42:21Z)
• Leveraging Human Production-Interpretation Asymmetries to Test LLM Cognitive Plausibility [7.183662547358301]
  大規模言語モデルが人間に類似した言語を処理するかどうかを検討する。 いくつかのLCMは、生産と解釈の間に人間のような対称性を定量的に、質的に反映していることがわかった。
  論文  参考訳（メタデータ） (2025-03-21T23:25:42Z)
• The LLM Effect: Are Humans Truly Using LLMs, or Are They Being Influenced By Them Instead? [60.01746782465275]
  大規模言語モデル(LLM)は、様々な分析タスクにおいて、人間のパフォーマンスに近い能力を示している。 本稿では,Human-LLMパートナーシップに着目した構造化ユーザスタディにより,特殊作業におけるLLMの効率と精度について検討する。
  論文  参考訳（メタデータ） (2024-10-07T02:30:18Z)
• Evaluating Large Language Models with Psychometrics [59.821829073478376]
  本稿では,Large Language Models (LLMs) の心理的構造を定量化するための総合的ベンチマークを提案する。 私たちの研究は、13のデータセットで評価された5つの重要な心理的構成要素、人格、価値観、感情的知性、心の理論、自己効力性を特定します。 LLMの自己報告特性と実際のシナリオにおける応答パターンとの間に大きな相違が発見され,その挙動の複雑さが明らかになった。
  論文  参考訳（メタデータ） (2024-06-25T16:09:08Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は意思決定タスクを自動化するために使用される。 本稿では,LPMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを評価する。 さまざまな因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成します。 これらのベンチマークにより、LLMが事実を記憶したり、他のショートカットを見つけたりすることで、変化を正確に予測する能力を切り離すことができます。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• Explaining Large Language Models Decisions Using Shapley Values [1.223779595809275]
  大規模言語モデル(LLM)は、人間の行動や認知過程をシミュレートするエキサイティングな可能性を開いた。 しかし, LLMを人体用スタンドインとして活用する妥当性は, いまだに不明である。 本稿では,モデルの出力に対する各プロンプト成分の相対的寄与を定量化するために,シェープリー値に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T22:49:43Z)
• Is Self-knowledge and Action Consistent or Not: Investigating Large Language Model's Personality [11.660251022962141]
  大規模言語モデル(LLM)の人格特性の把握における従来のパーソナリティアンケートの有効性について検討する。 本研究の目的は, LLM が持つ性格特性と実世界のシナリオにおけるその傾向の一致を評価することである。
  論文  参考訳（メタデータ） (2024-02-22T16:32:08Z)
• Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks [65.69651759036535]
  大規模言語モデル(LLM)が人間にとって信頼できる代替手段であるかどうかを解析する。 本稿では、従来のタスク(例えば、ストーリー生成)とアライメントタスク(例えば、数学推論)の両方について検討する。 LLM評価器は不要な基準を生成したり、重要な基準を省略することができる。
  論文  参考訳（メタデータ） (2023-10-30T17:04:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。