論文の概要: Developmental Trajectories of Situation Modeling and Mentalizing in Transformer Language Models

• arxiv url: http://arxiv.org/abs/2606.28524v1
• Date: Fri, 26 Jun 2026 18:21:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.590796
• Title: Developmental Trajectories of Situation Modeling and Mentalizing in Transformer Language Models
• Title（参考訳）: 変圧器言語モデルにおける状況モデリングとメンタライゼーションの発達軌跡
• Abstract要約: 大言語モデル(LLM)は、偽信念タスク(FBT)によって測定されるテキストによって記述されるエージェントの信念状態に敏感である 我々は,Olmo2言語モデルスイートとPythia言語モデルスイートの複数の訓練段階における精神状態推論のパターンを辿った。 以上の結果から,FBTの性能はモデルサイズと十分なトレーニング量の両方に依存し,事前訓練が比較的遅れて出現し,訓練後の介入によって改善されていることがわかった。
• 参考スコア（独自算出の注目度）: 3.683167220080399
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work suggests that Large Language Models (LLMs) are sensitive to the belief states of agents described by text, as measured by the false belief task (FBT), yet persistent concerns of construct validity remain. We adopt a **developmental perspective**, tracing the pattern of mental state reasoning behavior -- and likely **preconditions** for this behavior -- across multiple training stages in the Olmo2 and Pythia language model suites. We find that above-chance FBT performance depends both on model size and sufficient training volume, emerges relatively late in pretraining, and is most improved by post-training interventions (SFT, DPO) in the condition most diagnostic of mentalizing (False Belief, Implicit). However, FBT performance is fragile: consistent with past work, the use of non-factive verbs (e.g., thinks) increases false belief attributions even in the True Belief condition. To contextualize these findings, we track the emergence of **situation modeling**: the ability to report on basic factual properties of a described scene. Situation modeling accuracy generally precedes and exceeds FBT accuracy, yet situational representations also prove surprisingly incoherent in certain respects: when asked about the knowledge states of the Antagonist agent -- who always knows the item's true location -- Olmo2 13b is consistently influenced both by the Target agent's knowledge state and the presence of non-factive verbs. Together, these results suggest that larger, sufficiently trained models build partially coherent situation models in a developmentally appropriate sequence, yet display surprising fragility -- highlighting the value of developmental and stress-testing approaches for evaluating LLM capabilities.
• Abstract（参考訳）: 近年の研究では、Large Language Models (LLMs) は、テキストによって記述されるエージェントの信念状態に敏感であることが示唆されている。 私たちは、Olmo2言語モデルスイートとPythia言語モデルスイートの複数のトレーニングステージにわたって、精神状態推論のパターンをトレースする**開発的な視点**を採用しています。 以上の結果から, モデルサイズと十分なトレーニング量の両方に依存し, トレーニング後介入(SFT, DPO)により, トレーニング後介入(False Belief, Implicit)により, 訓練後介入(False Belief, Implicit)により改善がみられた。 しかし、FBTのパフォーマンスは脆弱であり、過去の作業と一致し、非アクティブな動詞の使用(例えば、思考)は、真の信念の状態においても偽の信念の帰属を増大させる。 これらの知見を文脈化するために、****:説明シーンの基本的事実特性を報告できる*の出現をトラックする。 状況モデリングの精度は一般的にFBTの精度に先行するが、状況表現は特定の点で驚くほど不整合性を示す: 敵エージェントの知識状態 -- アイテムの真の位置を常に知っている -- について尋ねると、Olmo2 13bはターゲットエージェントの知識状態と非アクティブな動詞の存在の両方の影響を一貫して受けている。 これらの結果は、大規模で十分に訓練されたモデルが、発達的に適切なシーケンスで部分的に一貫性のある状況モデルを構築しながら、驚くほどの脆弱さを示すことを示唆している。

関連論文リスト

• Knowledgeless Language Models: Suppressing Parametric Recall for Evidence-Grounded Language Modeling [21.14539989233461]
  知識--'Less''' Language Models (KLLMs) KLLMは、名前付きエンティティが匿名化されたコーパスで事前訓練される。 我々は,KLLMがパラメトリック知識に頼らず,外部証拠に頼らず,現実的な条件下での信頼性の向上につながることを示した。
  論文  参考訳（メタデータ） (2026-07-14T14:48:53Z)
• Agent-BRACE: Decoupling Beliefs from Actions in Long-Horizon Tasks via Verbalized State Uncertainty [70.43119366710778]
  本稿では,Agens-BRACE: Agent Belief state Representation by Abstraction and Confidence Estimationを紹介する。 LLMエージェントを信頼状態モデルと政策モデルに分離し、強化学習を通じて協調的に最適化する手法である。 長期にわたる部分的に観察可能な言語環境において、平均して+14.5%の絶対的な改善を実現している。
  論文  参考訳（メタデータ） (2026-05-12T02:37:04Z)
• Identifying Influential N-grams in Confidence Calibration via Regression Analysis [53.95767806659635]
  回帰法を適用することにより,言語表現が信頼とどのような関係があるかを明らかにする。 我々は,大言語モデル (LLM) が推論に関わる場合,過度に信頼されていることを示す。 性能低下を伴わずに過信表現を単純に抑えることで、信頼度校正が可能であることを明らかにした。
  論文  参考訳（メタデータ） (2026-04-07T11:58:49Z)
• The Cost of Reasoning: Chain-of-Thought Induces Overconfidence in Vision-Language Models [1.5001933823689926]
  推論は、ほとんどの不確実性推定の品質を一貫して低下させることを示す。 暗黙の回答条件付けを主要なメカニズムとみなす。 対照的に、合意に基づく一貫性は堅牢であり、しばしば推論の下で改善される。
  論文  参考訳（メタデータ） (2026-03-17T16:12:06Z)
• Traces of Social Competence in Large Language Models [4.840227446088162]
  FBT(False Belief Test)は、心の理論(ToM)と関連する社会的認知能力を評価する主要な方法である。 大規模言語モデル(LLM)では、データの汚染、不十分なモデルの詳細、一貫性のない制御といった問題により、信頼性と説明力は制限され続けている。 ベイジアン・ロジスティック・レグレッション(英語版)を用いて、192のFBT変種(Trott et al. 2023)のバランスの取れたセット上で、17のオープンウェイトモデルをテストすることにより、モデルサイズとポストトレーニングが社会認知能力にどのように影響するかを明らかにする。
  論文  参考訳（メタデータ） (2026-03-04T15:19:27Z)
• Towards Simulating Social Media Users with LLMs: Evaluating the Operational Validity of Conditioned Comment Prediction [2.5450067638785945]
  本研究は,ユーザが所定の刺激に対してどのようにコメントするかをモデルが予測するタスクである条件付きコメント予測(CCP)を紹介する。 オープンウェイトな8Bモデル(Llama3.1、Qwen3、Ministral)を英語、ドイツ語、ルクセンブルク語のシナリオで評価する。
  論文  参考訳（メタデータ） (2026-02-26T08:40:21Z)
• The Imperfective Paradox in Large Language Models [19.058068907991277]
  本研究では,過去の進歩的側面が,達成のためのものではなく,活動のイベント実現を伴っている不完全なパラドックスについて検討する。 多様なセマンティッククラスでこの区別を探索するために設計された診断データセットであるImperfectiveNLIを紹介する。 広汎なテレロジカルバイアス: 目標志向のイベントの完了を体系的に幻覚させるモデル。
  論文  参考訳（メタデータ） (2026-01-14T10:57:16Z)
• Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
  VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。 Instruct-Verify-and-Act(IVA)を提案する。 実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-22T10:54:33Z)
• Towards Robust Pruning: An Adaptive Knowledge-Retention Pruning Strategy for Language Models [35.58379464827462]
  本稿では,高密度言語モデルの埋め込み空間と特徴空間を忠実に再現する訓練後プルーニング戦略を提案する。 他の最先端のベースラインと比較して、我々の手法は、SST2、IMDB、AGNewsのデータセット上でBERTによる精度、スパーシリティ、ロバスト性、およびプルーニングコストのバランスが優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-19T23:02:29Z)
• Explaining Language Models' Predictions with High-Impact Concepts [11.47612457613113]
  概念ベースの解釈可能性手法をNLPに拡張するための完全なフレームワークを提案する。 出力予測が大幅に変化する特徴を最適化する。 本手法は, ベースラインと比較して, 予測的影響, ユーザビリティ, 忠実度に関する優れた結果が得られる。
  論文  参考訳（メタデータ） (2023-05-03T14:48:27Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• How Should Pre-Trained Language Models Be Fine-Tuned Towards Adversarial Robustness? [121.57551065856164]
  本稿では,情報理論の観点から,新しい対角的微調整法としてロバスト・インフォーマティブ・ファインチューニング(RIFT)を提案する。 RIFTは、微調整プロセス全体を通して、事前訓練されたモデルから学んだ特徴を維持するために客観的モデルを奨励する。 実験の結果, RIFTは2つのNLPタスクにおいて, 最先端のタスクを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-22T05:04:41Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。