論文の概要: Simulated Annealing Enhances Theory-of-Mind Reasoning in Autoregressive Language Models

• arxiv url: http://arxiv.org/abs/2601.12269v1
• Date: Sun, 18 Jan 2026 05:51:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.540177
• Title: Simulated Annealing Enhances Theory-of-Mind Reasoning in Autoregressive Language Models
• Title（参考訳）: 自己回帰型言語モデルにおける擬似アニーリング理論-Mind Reasoning
• Authors: Xucong Hu, Jian-Qiao Zhu,
• Abstract要約: 心の理論 (ToM) の課題は、自分自身や他人の潜伏した精神状態についての推論に決定的に依存する。 付加的な重み付けや検証を行うことなく,ToMの強力な能力がベースモデルから直接回復可能であることを示す。
• 参考スコア（独自算出の注目度）: 1.4323566945483497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive language models are next-token predictors and have been criticized for only optimizing surface plausibility (i.e., local coherence) rather than maintaining correct latent-state representations (i.e., global coherence). Because Theory of Mind (ToM) tasks crucially depend on reasoning about latent mental states of oneself and others, such models are therefore often thought to fail at ToM. While post-training methods can improve ToM performance, we show that strong ToM capability can be recovered directly from the base model without any additional weight updates or verifications. Our approach builds on recent power-sampling methods (Karan & Du, 2025) that use Markov chain Monte Carlo (MCMC) to sample from sharpened sequence-level (rather than token-level) probability distributions of autoregressive language models. We further find that incorporating annealing, where the tempered distribution is gradually shifted from high to low temperature, substantially improves ToM performance over fixed-temperature power sampling. Together, these results suggest that sampling-based optimization provides a powerful way to extract latent capabilities from language models without retraining.
• Abstract（参考訳）: 自己回帰言語モデルは次世代の予測器であり、正確な潜在状態表現(グローバルコヒーレンス)を維持するのではなく、表面の可視性(局所コヒーレンス)を最適化するだけであると批判されている。 心の理論(ToM)タスクは、自分自身や他人の潜在精神状態の推論に決定的に依存するため、このようなモデルはToMで失敗することが多い。 ポストトレーニング手法ではToMの性能が向上するが,付加的な重み付けや検証を行うことなく,ToMの強みをベースモデルから直接回収できることが示されている。 提案手法は, マルコフ連鎖モンテカルロ(MCMC)を用いて, 自己回帰言語モデルにおいて, トークンレベルの確率分布ではなく, シャープなシーケンスレベルの確率分布をサンプリングする最近のパワーサンプリング法(Karan & Du, 2025)に基づく。 さらに, 温度分布が高温から低温に徐々にシフトする焼鈍処理を施すことにより, 固定温度サンプリングよりもToM性能が著しく向上することがわかった。 これらの結果から,サンプリングに基づく最適化は,言語モデルから潜在能力を引き出す上で,再学習を伴わない強力な方法であることが示唆された。

関連論文リスト

• Inference-Time Scaling of Diffusion Language Models with Particle Gibbs Sampling [70.8832906871441]
  我々は、モデルを再訓練することなく、所望の報酬に向けて世代を操る方法を研究する。 従来の手法では、通常は1つの認知軌道内でサンプリングやフィルタを行い、軌道レベルの改善なしに報酬をステップバイステップで最適化する。 本稿では,拡散言語モデル(PG-DLM)の粒子ギブスサンプリングについて紹介する。
  論文  参考訳（メタデータ） (2025-07-11T08:00:47Z)
• Kolmogorov-Arnold Energy Models: Fast and Interpretable Generative Modeling [0.0]
  構造的および帰納的バイアスを利用するために,Kolmogorov-Arnold Energy Model (KAEM)を導入する。 KAEMは一般的な生成モデリングトレードオフのバランスをとり、高速な推論、解釈可能性、安定したトレーニングを提供する。
  論文  参考訳（メタデータ） (2025-06-17T04:07:32Z)
• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Your Autoregressive Generative Model Can be Better If You Treat It as an Energy-Based One [83.5162421521224]
  本稿では,自己回帰生成モデルの学習のための独自のE-ARM法を提案する。 E-ARMは、よく設計されたエネルギーベースの学習目標を活用する。 我々は、E-ARMを効率的に訓練でき、露光バイアス問題を緩和できることを示した。
  論文  参考訳（メタデータ） (2022-06-26T10:58:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。