論文の概要: Language Statistics and False Belief Reasoning: Evidence from 41 Open-Weight LMs

• arxiv url: http://arxiv.org/abs/2602.16085v1
• Date: Tue, 17 Feb 2026 23:20:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-19 15:58:30.46596
• Title: Language Statistics and False Belief Reasoning: Evidence from 41 Open-Weight LMs
• Title（参考訳）: 言語統計とFalse Belief Reasoning:41のオープンウェイトLMからの証拠
• Authors: Sean Trott, Samuel Taylor, Cameron Jones, James A. Michaelov, Pamela D. Rivière,
• Abstract要約: 41のオープンウェイトモデルにおけるLM精神状態推論行動の評価を行った。 検査結果の34%にインプリード知識状態に対する感受性が認められた。 より大きなLMは感度を増し、心理測定の予測力も高めている。
• 参考スコア（独自算出の注目度）: 6.600578957536851
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Research on mental state reasoning in language models (LMs) has the potential to inform theories of human social cognition--such as the theory that mental state reasoning emerges in part from language exposure--and our understanding of LMs themselves. Yet much published work on LMs relies on a relatively small sample of closed-source LMs, limiting our ability to rigorously test psychological theories and evaluate LM capacities. Here, we replicate and extend published work on the false belief task by assessing LM mental state reasoning behavior across 41 open-weight models (from distinct model families). We find sensitivity to implied knowledge states in 34% of the LMs tested; however, consistent with prior work, none fully ``explain away'' the effect in humans. Larger LMs show increased sensitivity and also exhibit higher psychometric predictive power. Finally, we use LM behavior to generate and test a novel hypothesis about human cognition: both humans and LMs show a bias towards attributing false beliefs when knowledge states are cued using a non-factive verb (``John thinks...'') than when cued indirectly (``John looks in the...''). Unlike the primary effect of knowledge states, where human sensitivity exceeds that of LMs, the magnitude of the human knowledge cue effect falls squarely within the distribution of LM effect sizes-suggesting that distributional statistics of language can in principle account for the latter but not the former in humans. These results demonstrate the value of using larger samples of open-weight LMs to test theories of human cognition and evaluate LM capacities.
• Abstract（参考訳）: 言語モデル(LM)におけるメンタルステート推論の研究は、人間の社会的認知の理論(例えば、言語曝露からメンタルステート推論が出現する理論など)を伝える可能性がある。 しかし、LMに関する多くの論文は、比較的小さなクローズドソースのLMのサンプルに依存しており、心理学理論を厳格に検証し、LM能力を評価する能力を制限する。 ここでは、41のオープンウェイトモデル(異なるモデルファミリ)にまたがって、LM精神状態推論行動を評価することによって、誤った信念タスクに関する論文を複製し、拡張する。 インプリード・ナレッジ状態に対する感受性は、検査されたLMの34%でわかるが、以前の研究と一致しているが、人間の影響を完全に「説明」することはできない。 より大きなLMは感度を増し、心理測定の予測力も高めている。 最後に、私たちは、人間の認知に関する新しい仮説の生成とテストにLMの行動を使用する:人間とLMの両方は、非能動的動詞(John think...')を用いて知識状態が間接的にキューされた場合(John look in the...')よりも、偽の信念に寄与する傾向を示す。 人間の感度がLMよりも大きい知識状態の一次効果とは異なり、人間の知識キュー効果の大きさは、LM効果の大きさの分布の正方形に該当する。 これらの結果は,人間の認知理論を検証し,LM能力を評価するために,より大きなオープンウェイトLMサンプルを使用することの価値を実証するものである。

関連論文リスト

• Language Agents Mirror Human Causal Reasoning Biases. How Can We Help Them Think Like Scientists? [42.29911505696807]
  言語モデル(LM)エージェントは、自律的な意思決定者としてますます使われている。 LMの因果関係を探索・推測する能力について検討する。 LMは共通で直感的な因果関係を確実に推測するが、体系的には特異だが等しく、共役関係を証明している。
  論文  参考訳（メタデータ） (2025-05-14T17:59:35Z)
• Belief in the Machine: Investigating Epistemological Blind Spots of Language Models [51.63547465454027]
  言語モデル(LM)は、医療、法律、ジャーナリズムといった分野において、信頼できる意思決定に不可欠である。 本研究は,新しいデータセットであるKaBLEを用いて,GPT-4,Claude-3,Llama-3を含む現代のLMの能力を体系的に評価する。 まず、LMは事実シナリオで86%の精度を達成するが、その性能は偽シナリオで著しく低下する。 第二に、特にこれらの信念が事実データと矛盾する場合、LMは個人的信念を認識し、肯定するのに苦労する。
  論文  参考訳（メタデータ） (2024-10-28T16:38:20Z)
• Generative Models, Humans, Predictive Models: Who Is Worse at High-Stakes Decision Making? [10.225573060836478]
  大規模な生成モデル(LM)は、これまで予測モデルや人間によって行われていた意思決定タスクに既に使用されている。 我々は、高い意思決定タスクである再帰的予測において、人気のあるLMをテストに投入した。
  論文  参考訳（メタデータ） (2024-10-20T19:00:59Z)
• FactCheckmate: Preemptively Detecting and Mitigating Hallucinations in LMs [21.767886997853022]
  FactCheckmateを導入し,分類器の学習により幻覚を事前に検出する。 幻覚が検出されると、FactCheckmateはLMの隠れた状態を調整して介入する。 その結果,FactCheckmateの有効性が示され,70%以上のプリエンプティブ検出精度が得られた。
  論文  参考訳（メタデータ） (2024-10-03T18:45:00Z)
• LLM Internal States Reveal Hallucination Risk Faced With a Query [62.29558761326031]
  人間は、クエリに直面したとき、私たちが知らないことを認識できる自己認識プロセスを持っています。 本稿では,大規模言語モデルが応答生成に先立って,自身の幻覚リスクを推定できるかどうかを検討する。 確率推定器により, LLM自己評価を利用して, 平均幻覚推定精度84.32%を達成する。
  論文  参考訳（メタデータ） (2024-07-03T17:08:52Z)
• WellDunn: On the Robustness and Explainability of Language Models and Large Language Models in Identifying Wellness Dimensions [46.60244609728416]
  言語モデル (LMs) は, 予後不良のリスクが高まれば, 臨床実習におけるモデルの実用性に対するリトマステストにはならない可能性がある, メンタルヘルスの分野では, 言語モデル (LMs) が提案されている。 ウェルネス次元(WD)の同定におけるLMの堅牢性と説明性に着目した評価設計を提案する。 LM/LLMの4つの驚くべき結果が明らかになった。
  論文  参考訳（メタデータ） (2024-06-17T19:50:40Z)
• Divergences between Language Models and Human Brains [59.100552839650774]
  我々は,人間と機械語処理の相違点を体系的に探求する。 我々は、LMがうまく捉えられない2つの領域、社会的/感情的知性と身体的常識を識別する。 以上の結果から,これらの領域における微調整LMは,ヒト脳反応との整合性を向上させることが示唆された。
  論文  参考訳（メタデータ） (2023-11-15T19:02:40Z)
• Language Models Hallucinate, but May Excel at Fact Verification [89.0833981569957]
  大規模言語モデル (LLM) はしばしば「ハロシン化 (hallucinate)」し、結果として非実効出力となる。 GPT-3.5でさえ、実際の出力は25%以下である。 これは、進捗を計測し、インセンティブを与えるために、事実検証の重要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2023-10-23T04:39:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。