論文の概要: Language Statistics and False Belief Reasoning: Evidence from 41 Open-Weight LMs

• arxiv url: http://arxiv.org/abs/2602.16085v1
• Date: Tue, 17 Feb 2026 23:20:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-19 15:58:30.46596
• Title: Language Statistics and False Belief Reasoning: Evidence from 41 Open-Weight LMs
• Title（参考訳）: 言語統計とFalse Belief Reasoning:41のオープンウェイトLMからの証拠
• Authors: Sean Trott, Samuel Taylor, Cameron Jones, James A. Michaelov, Pamela D. Rivière,
• Abstract要約: 41のオープンウェイトモデルにおけるLM精神状態推論行動の評価を行った。 検査結果の34%にインプリード知識状態に対する感受性が認められた。 より大きなLMは感度を増し、心理測定の予測力も高めている。
• 参考スコア（独自算出の注目度）: 6.600578957536851
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research on mental state reasoning in language models (LMs) has the potential to inform theories of human social cognition--such as the theory that mental state reasoning emerges in part from language exposure--and our understanding of LMs themselves. Yet much published work on LMs relies on a relatively small sample of closed-source LMs, limiting our ability to rigorously test psychological theories and evaluate LM capacities. Here, we replicate and extend published work on the false belief task by assessing LM mental state reasoning behavior across 41 open-weight models (from distinct model families). We find sensitivity to implied knowledge states in 34% of the LMs tested; however, consistent with prior work, none fully ``explain away'' the effect in humans. Larger LMs show increased sensitivity and also exhibit higher psychometric predictive power. Finally, we use LM behavior to generate and test a novel hypothesis about human cognition: both humans and LMs show a bias towards attributing false beliefs when knowledge states are cued using a non-factive verb (``John thinks...'') than when cued indirectly (``John looks in the...''). Unlike the primary effect of knowledge states, where human sensitivity exceeds that of LMs, the magnitude of the human knowledge cue effect falls squarely within the distribution of LM effect sizes-suggesting that distributional statistics of language can in principle account for the latter but not the former in humans. These results demonstrate the value of using larger samples of open-weight LMs to test theories of human cognition and evaluate LM capacities.
• Abstract（参考訳）: 言語モデル(LM)におけるメンタルステート推論の研究は、人間の社会的認知の理論(例えば、言語曝露からメンタルステート推論が出現する理論など)を伝える可能性がある。 しかし、LMに関する多くの論文は、比較的小さなクローズドソースのLMのサンプルに依存しており、心理学理論を厳格に検証し、LM能力を評価する能力を制限する。 ここでは、41のオープンウェイトモデル(異なるモデルファミリ)にまたがって、LM精神状態推論行動を評価することによって、誤った信念タスクに関する論文を複製し、拡張する。 インプリード・ナレッジ状態に対する感受性は、検査されたLMの34%でわかるが、以前の研究と一致しているが、人間の影響を完全に「説明」することはできない。 より大きなLMは感度を増し、心理測定の予測力も高めている。 最後に、私たちは、人間の認知に関する新しい仮説の生成とテストにLMの行動を使用する:人間とLMの両方は、非能動的動詞(John think...')を用いて知識状態が間接的にキューされた場合(John look in the...')よりも、偽の信念に寄与する傾向を示す。 人間の感度がLMよりも大きい知識状態の一次効果とは異なり、人間の知識キュー効果の大きさは、LM効果の大きさの分布の正方形に該当する。 これらの結果は,人間の認知理論を検証し,LM能力を評価するために,より大きなオープンウェイトLMサンプルを使用することの価値を実証するものである。

関連論文リスト

• Language Agents Mirror Human Causal Reasoning Biases. How Can We Help Them Think Like Scientists? [42.29911505696807]
  言語モデル(LM)エージェントは、自律的な意思決定者としてますます使われている。 LMの因果関係を探索・推測する能力について検討する。 LMは共通で直感的な因果関係を確実に推測するが、体系的には特異だが等しく、共役関係を証明している。
  論文  参考訳（メタデータ） (2025-05-14T17:59:35Z)
• WellDunn: On the Robustness and Explainability of Language Models and Large Language Models in Identifying Wellness Dimensions [46.60244609728416]
  言語モデル (LMs) は, 予後不良のリスクが高まれば, 臨床実習におけるモデルの実用性に対するリトマステストにはならない可能性がある, メンタルヘルスの分野では, 言語モデル (LMs) が提案されている。 ウェルネス次元(WD)の同定におけるLMの堅牢性と説明性に着目した評価設計を提案する。 LM/LLMの4つの驚くべき結果が明らかになった。
  論文  参考訳（メタデータ） (2024-06-17T19:50:40Z)
• Divergences between Language Models and Human Brains [59.100552839650774]
  我々は,人間と機械語処理の相違点を体系的に探求する。 我々は、LMがうまく捉えられない2つの領域、社会的/感情的知性と身体的常識を識別する。 以上の結果から,これらの領域における微調整LMは,ヒト脳反応との整合性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2023-11-15T19:02:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。